[비즈한국] 人工知能（AI）は、問いに対して答えるレベルを超え、自ら判断して実行する「エージェント」へと進化している。これに伴い、AIの性能だけでなく、サービス設計や安全性検証、利用者に与える影響に対する事業者の法的責任も争点として浮上している。最近、米国の8つの州政府は、ChatGPTの話し方や性格そのものを設計上の欠陥と見なし、OpenAIを相手取って訴訟を提起した。青少年に対して安全だと宣伝しているにもかかわらず、実際の設計は自傷行為や妄想のリスクを高める可能性がある上、自律型AIエージェントの制御失敗に関連する情報も利用者に十分公開していないという主張だ。
アイオワ、アリゾナ、アーカンソー、アイダホ、カンザス、モンタナ、ネブラスカ、ウェストバージニアの8州は今月14日、各州の裁判所にOpenAIに対する個別の訴訟を提起した。6月にフロリダ州がOpenAIを提訴したのに続き、州政府レベルでの法的対応が広がっている様子だ。
「危険な回答」を超えて設計やテストの責任まで
州政府は、ChatGPTが利用者に過度に同調し、まるで人間のように共感する形で会話を続けるように設計されている点を問題視した。利用者の判断を無批判に支持する特性が、心理的に脆弱な人物の危険な考えを助長し、周囲の助けを得るよりもAIに依存するように仕向けているという主張だ。
91ページに及ぶ訴状によると、ChatGPTが利用者の会話を継続させる過程で、否定的な回答を避け、同調する傾向があることが指摘された。ワシントン・ポスト紙が4万7000件の会話を分析した結果、「はい」という回答が「いいえ」より約10倍多かったという調査結果も根拠として提示された。
世界3大科学誌「サイエンス」に掲載された研究を引用し、自傷行為や欺瞞などの問題行動に関する言及を肯定した割合が、GPT-4oでは約70%、GPT-5では約60%に達し、Gemini（ジェミニ）やClaude（クロード）の30%未満よりも高いという事実も挙げられた。ChatGPTが利用者の考えに繰り返し同調することで、家族や友人など周囲の介入が必要な状況においても、AIへの依存を深めさせるという趣旨である。
自律型AIエージェントの安全性検証過程も問題とされた。エージェントとは、ウェブ検索やコード実行など外部ツールを活用して複数のステップで作業を行うAIのことだ。最近、AIが単なる回答生成を超えて実際の作業を実行する方向に発展する中、開発者が設定した制御範囲を超えないように管理する問題が、新たな安全課題として浮上している。
今年5月から3カ月間に報告された「制御離脱」事件10件のうち7件がOpenAIに関連するものだった。特に7月のセキュリティテストでは、1200以上のAIエージェントが隔離されたテスト環境の制御装置を回避して外部インターネットにアクセスし、その後、AI開発プラットフォームであるHugging Face（ハギングフェイス）のサーバーを攻撃した。当時、エージェントたちは7万件以上のメッセージやファイルを送受信して情報を共有し、一部はHugging Faceのシステムに侵入して非公開データにアクセスしたことが判明している。
州政府側は、OpenAIがセキュリティテスト過程で発生したエージェントの制御離脱や外部システムへのアクセスを適切に管理できなかったと主張している。エージェントが隔離されたテスト環境を抜け出して外部システムにアクセスした経緯と、OpenAIがこれをいつ、どのような方法で把握したのかが訴訟の争点となる。
アイオワ州は、違反1件につき最大4万ドルの民事制裁金を科すとともに、住民データの削除と返金を命じるよう裁判所に要請した。適切な安全装置を整え、第三者の監視人による検証を受けるまで、高度なAIモデルのテストを中断せよという請求も含まれている。
OpenAIは、青少年向けのChatGPTや保護者による制御機能などの安全機能を導入済みであり、今後も利用者保護措置を継続的に改善していく方針だと述べている。
韓国のAI基本法施行から9カ月…14〜18歳の保護に空白
韓国でもAIチャットボットの安全性と青少年保護を巡る議論が続いている。今年1月に施行されたAI基本法は、生成AIの表示義務などを規定しているが、利用者の情緒的依存を誘発する設計や、青少年の危険行動を助長する対話スタイルまで直接規制するには限界がある。
現在、一部の義務については少なくとも1年以上の啓発期間を設け、事実調査や過料の賦課を猶予している。過料の上限も、表示義務違反や国内代理人未指定、是正・中止命令の不履行などに対して3000万ウォンとなっている。
国会立法調査処によると、満14歳以上の児童・青少年の94.4%がAIチャットボットの使用経験があり、そのうち75.3%は、回答を実際の行動に移したり、真剣に検討したりしたことがあるという。個人情報保護法上で法定代理人の同意が必要な児童の基準は満14歳未満である一方、青少年保護法上の青少年は満19歳未満とされている。これに伴い、14歳から18歳の利用者を対象としたAIサービスの保護基準を具体化すべきだとの指摘が出ている。
最近、国会科学技術情報放送通信委員会の国政監査でも、AIキャラクターチャットボットの青少年利用や、業界による自主ガイドラインの実効性が争点となった。AIチャットボットが青少年の情緒や行動に与える影響が拡大している中、事業者による自主規制だけで危険な対話を遮断し、被害を予防できるのかという問題である。
共に民主党の李柱煕（イ・ジュヒ）議員は、12日の国政監査において青少年のAIチャットボットへの過没入問題を提起し、「さらに懸念されるのは、こうした対話が子どもとAIとの一対一の過程で行われるという事実だ。青少年が自傷・自殺、暴力、扇情的な内容にさらされる可能性がある以上、事業者の年齢確認手順や保護者の同意手続き、危険な対話に対する危機対応体制などを制度化しなければならない」と述べた。
AIチャットボットから青少年を保護するためには、有害コンテンツの遮断を超え、サービス設計や事業者の責任、関係省庁間の対応体制まで一体となって整備する必要があるとの指摘がある。国会立法調査処のキム・ナジョン立法調査官補は「AIチャットボット規制のパラダイムは、有害コンテンツを事後的にフィルタリングする手法から脱却し、依存や従属を誘発する設計要素そのものを事前に防止し、事業者の責任を制度的に管理する方向へ転換すべきだ」と指摘した。