「もっともらしいデタラメ」を吐き出すワケ
生成AIはしばしば「もっともらしいデタラメ」を吐き出す。その現象は、「幻覚」と呼ばれる。その仕組みについてこう説明している。
「AIはそれまでの文章のつながりから、次に来る可能性が高い言葉を、機械的に選び出していく。しかし、その内容を理解しているわけではなく、それが事実に基づくものかどうかの判断もしない。確率的な『もっともらしさ』によってのみ、質問に対する回答を作成している。ただ、そのもとになる膨大な学習データを飲み込んでいるため、ただのデタラメではなく、『もっともらしいデタラメ』になる」
デタラメが大きな経済的損失を生むこともある。
グーグルは2023年2月6日、チャットGPTに対抗する生成AI「バード」を発表。プロモーション用の動画もついていた。子どもの質問に回答する様子が映し出されていたが、回答のうちの1つが間違っていたため、親会社のアルファベットの株価が2月8日に急落、時価総額で1000億ドルが消えたという。
間違った情報が健康・医療情報で拡散すると、とくに危険が大きい。
ボストン・グローブ・メディア傘下の健康情報サイト「スタット」は、チャットGPTの検証として、「分娩後異常出血」に関する鑑別診断を指示したところ、エビデンスとなる4つの研究論文を示して回答したという。だが、その研究論文はいずれも実在しないものだった。架空の研究論文を「捏造」する例を他にも紹介している。
ニュースサイトを偽装するのに使われていることも明らかになったという。
2023年5月1日、米国のサイト評価会社「ニュースガード」は、中国語、英語、フランス語など7つの言語による49のウェブサイトで、「デイリー・ビジネス・ポスト」などのタイトルを掲げてニュースサイトを偽装している調査結果を公表した。
チャットGPTなどの生成AIを使って、記事の全部もしくは一部を自動生成していたという。その中には、「バイデン大統領死亡」などのフェイクニュースも含まれていたそうだ。
犯罪者を捏造するケースも紹介している。オーストラリアを舞台にした国際贈収賄事件に関し、内部告発者を「被告」とチャットGPTが回答したというのだ。
虚実が入り交じった回答ぶりに告発者は「信じられないほど有害だ」と怒っている。身を賭して告発したのに、自らが贈賄側とされ、フェイクニュースを整然と作り出していた。
著者が試したところ、3回のうち2回は誤った回答をしたという。「生成AIは文章全体の中での情報の位置づけや価値を、理解したり判断したりすることができない。出典の文脈を考慮しない情報の抜き出しが、フェイクニュースを生み出していた」と推測する。