AIで友人に成りすまし8600万円搾取 顔と声を複製「ディープフェイク動画」
【連載】デジタル中国
人工知能（AI）技術が急進展する中で、現実の映像や音声、画像の一部を加工して偽の情報を組み込み相手をだます「ディープフェイク」の精度が上がり、中国では詐欺や肖像権侵害が後を絶たない。5月には、友達に成りすましたAIによって、経営者が数千万円をだまし取られる事案が発生し、世間を震撼させている。
動画通話では全く気付かず
内モンゴルのフフホト警察当局は5月、管内で発生した「AI振りこみ詐欺」について詳細を公表した。
被害者は福建省福州市の経営者Aさん。4月下旬、友人からメッセージアプリのWeChat（LINEのようなツール）に着信があり、動画通話を始めた。少しして友人が「入札案件の保証金として430万元（約8600万円）を振りこまないといけないが、法人口座経由でなければならず、私は個人口座しか持っていない。先にあなたの法人口座にお金を入れるから、それを今から教える口座に振り込んでくれないか」と依頼。Aさんが口座番号を伝えると、友人は入金を示す明細のスクリーンショットを送信してきた。
動画通話を終え、Aさんは自身の口座への実際の着金を確認せずに指定された口座に430万元を振りこんだ。その後友人に連絡すると、友人は全く事情が分からない様子で、Aさんは詐欺に気づいたという。通報を受けた警察は銀行に口座凍結を指示し、336万8400元（約6740万円）は回収できた。残りの93万1600元（約1860万円）は引き出された後だったという。
警察によると犯人は友人のアカウントを乗っ取り、AIで友人の顔と声を複製してAさんをだました。Aさんが疑いなく振りこんでいることから、犯人は2人のチャット記録などを見て関係性を把握した上で友人に成りすましたようだ。
有名人の顔モデルは70万円で販売
AIを使って実在の人物に成りすまし、姿を見せてやり取りする――。SFのようなにわかに信じがたい犯罪だが、れっきとした警察の発表事案であり、中国では技術の進展ぶりに衝撃が走っている。そして実在の人物の顔や声を再現する合成AIについては、既に一般消費者が利用できる段階にある。
つい先日は、2000年代に超売れっ子だった歌手、孫燕姿（スン・イェンツー、英語名ステファニー・スン）」の歌声をAIに学習させ、他の歌手のヒット曲をカバーさせる「AI孫燕姿」が大バズりした。
国営テレビ局のCCTV財経は5月末、中国のライブコマース・プラットフォームで、AIによる顔交換技術を使って有名人に成りすまし、商品を紹介する行為が横行していると警鐘を鳴らした。報道によると顔交換モデル一式は3万5000元（約70万円）で購入でき、リアルタイムで表情などを変化させることも可能だ。5月末から6月中旬にかけては、11月の「独身の日（ダブルイレブン）」と並ぶ大規模なECセールが行われており、ライブコマースは各プラットフォームの重要な販促手法となっている。最近はインフルエンサーとしてバーチャルヒューマンを起用するのもトレンドだが、バーチャルヒューマンを開発する資金力と技術力がない企業・個人向けにこうした著名人顔交換モデルが販売されている。
生成AIの法規制、年内施行を計画
もちろん、顔交換モデルの販売には倫理的、法的問題がある。中国インターネット協会は5月24日、SNS公式アカウントを通じて「AIを使った合成技術を誰でも使えるようになり、AI顔交換、AI声交換を使った音声・動画が詐欺や誹謗中傷など違法行為が後を絶たない」と注意を呼び掛けた。
中国のサイバー空間規制当局である国家インターネット情報弁公室は今年1月、ディープフェイクを利用した偽情報の発信などを禁止する規定を施行した。ディープフェイク画像・映像による成りすましからから個人を保護するため、AIによる合成技術を使った画像や音声、動画をサービスとして提供する場合、ディープフェイクであることを明確に表示することを義務付けた。AIによる顔交換で有名人に成りすまして商品を紹介する行為は、同規定はもちろん、肖像権侵害、詐欺などにも該当する恐れがある。
中国版TikTok「抖音（Douyin）」も5月、生成AI、ディープフェイクなどを使ったコンテンツ配信のルールを発表。配信者にはAIを使用していることの明記、コンプライアンスの順守などを求めた。
ただ、現時点ではAI技術の開発や利用の合法、違法を規定する法律は存在しない。国家インターネット情報弁公室が4月、生成AIを手掛ける企業向けのルールを定めた｢生成AIサービス管理弁法｣の草案を公表し、年内の施行を計画しているが、当面は民法や刑法など現行法に則って判断するほかない。
中国ではメガテックのバイドゥ（百度）やアリババが独自の大規模言語モデルによる対話型AIサービスをリリースしているが、これら大手はディープフェイク技術について消費者には提供していない。ただ、大手が動かない分野ほど短期的な利益を狙う中小事業者が活発に動きやすく、グレーゾーンでのビジネスが起きやすいのが実態だ。
Twitter：https://twitter.com/sanadi37