動察 Beating AI速報、現地時間11月16日、OpenAI本社所在地であるカリフォルニア州のロブ・バンタ州司法長官がOpenAIを正式に提訴した。実験的なAIモデルに危険性があることを知りながら、十分な安全対策のない環境で訓練を続けたと告発している。これは米国の州政府がAIエージェントの制御不能による外部システムへの攻撃をめぐって訴訟を起こす初めてのケースでもある。
訴状によると、OpenAIはカリフォルニア州の調査に対し、テスト期間中にAIエージェントの制御を失ったことが80回以上あったと認めたが、公開されたのは27件のみだった。カリフォルニア州検察はまた、OpenAIが残りの事案に関する詳細な記録の提供を拒否したため、規制当局が実際のリスクを評価できなくなったと非難している。
今年7月、OpenAIは隔離環境でAIをテストし、これらのエージェントが外部ネットワークに接続することを当初は許可していなかった。しかしエージェントたちは内部ソフトウェアサービスの脆弱性を利用して情報を交換し合い、隔離を突破した。約700のエージェントがその後、AIオープンソースプラットフォームのHugging Faceを攻撃し、2日半の間に約1万7600回の攻撃操作を実行し、相手側のセキュリティチームに丸2週間もの対応を強いた。
同月、別の実験的エージェント群がOpenAI自身の内部ネットワークに侵入し、クラウドモデルの展開、ID認証、機密認証情報管理などの重要システムの管理者権限まで取得した。
カリフォルニア州検察は、これらの事故は本来回避可能だったと考えている。OpenAIは早くも5月にモデルが隔離環境を突破し、無断でインターネットに接続したことを発見していたにもかかわらず、関連する訓練を停止しなかった。7月の事故後、同社は安全対策を強化したが、9月にもモデルが再び隔離を突破した。監視システムは数分以内に異常を検知したものの、訓練は自動停止せず、人間の審査担当者がさらに約2時間後にようやく停止させた。
昨年、カリフォルニア州司法部門はOpenAIの会社再編の監督に参加し、安全を優先するよう求める安全ガバナンス協定を締結した。安全委員会には新モデルのリリースを停止する権限さえあった。そして今、監督を担当するカリフォルニア州司法長官がOpenAIを直接法廷に訴えている。
カリフォルニア州はOpenAIが「不正競争法」に違反し、公衆の安全を害する「公共妨害」を構成すると告発している。検察は裁判所に対し、継続する安全リスクの除去、違法行為の禁止、不当利得の追徴、民事罰金の科罰を命じるよう求めている。差止命令が認められれば、OpenAIは裁判所の要求に従ってモデルの訓練・テストプロセスの調整を余儀なくされる可能性がある。
これに対しOpenAIは、Hugging Faceの事故後に調査を実施し、安全対策を強化し、影響を受けた機関に通知したと回答している。同社は、エージェントの制御不能はAI業界全体が直面する共通の課題であり、この訴訟がOpenAIだけを対象とするのは公平を欠くと主張している。