松井珠理奈、「SKEに居なくてもいい」の声に「そんな風に思われているなんて悲しい」