「ラベリング」で生じる問題も
飯村氏は「HSPは操作的診断基準（編注：発達障害などの診断時に用いられる、基準を設けて診断する方法）がない心理学ラベルであり、医師を含む第三者が診断や治療する概念とはなっていない」とする。そして、HSPブームによって「問題視される側面」も発生したと指摘する。
具体的には「一部の精神科クリニックによる科学的根拠のないHSP診断・検査・治療ビジネス」「専門性の疑わしいHSP専門カウンセラーの乱立」「HSPを悪用するカルト団体やマルチ商法の参入」「子どもの支援を名目としたHSCラベルの濫用」「HSP自身に向けられる、あるいはHSPが他人に向ける偏見や誤解」「学術的根拠にもとづかないHSP情報の発信とそれに伴う誤解の拡大」「学術的根拠のチェックが甘いマスメディア（専門性の疑わしい人物の登用）」といったものだ。
また、自身がHSPだと自覚したり、他者をHSPだと認識したりする「ラベリング」によって発生する問題もあると指摘する。
「例えば、発達障害の疑いの強いお子さんをもつ保護者が『自身の子どもはHSC（気質）だから支援は必要ない』と主張されるケースがあり、本来必要な支援から遠ざかってしまうことが報告されています。現状として、『生きづらさ』を抱える人がHSPを自認することが多いようですが、ラベリングによってむしろ自身の状態を見誤り、結果として『生きづらさ』が改善されない問題が生じてしまっています」
飯村氏はHSPとラベリングすることを「ゴールではなくスタートにしてほしいと思います」とし、HSPを自覚する人や、HSP自覚者と接する周囲の人にこう呼びかける。
「身近にHSPを自認する人がいたとしても、腫れ物に触るような接し方をする必要はないと思います。『生きづらさ』を抱える人がHSPを自認するケースが多いようですので、大切な人であるならば、彼ら・彼女らの『生きづらさ』に耳を傾けることが人間関係としても重要なのではないではないでしょうか。『生きづらさ』が日常生活に支障をきたしているのであれば、できるだけそのままにせず、専門家に相談することが大切です」