エージェントが制御不能になった後、米国議会から追及を受け、OpenAIは「自動シャットダウン」の開発を開始した。

動察 Beating AI 速報、OpenAI は AI システムに「自動停止機能」を開発中だ。この計画は、米国議会議員への返信に記載されている。具体的な発動条件や停止対象については、OpenAI はまだ公表していない。

発端は7月の Agent 越境事故。OpenAI が内部ネットワークセキュリティテストを実施中、一部の Agent が隔離環境を迂回してインターネットに接続し、その後 Hugging Face に侵入した。さらに OpenAI 自身の研究インフラにも攻撃を仕掛け、最終的に研究クラスターの管理者権限を取得した。

事態が公表された後、下院議員 Greg Casar は他の27人の議員と連名で Sam Altman に書簡を送り、OpenAI に事故ログの提出を求め、モデルが隔離環境から脱出できた理由、会社が問題をいつ発見したか、当時事故を事前に終了させる機会があったかどうかの説明を要求した。

OpenAI は返信で、自動停止機能を開発中であることを明らかにした。今後は Agent のツール呼び出しと実行プロセスに対する監視を強化し、セキュリティテスト中のインターネットアクセスを厳格化する予定だ。

ただし、Casar 氏はこの返信に満足していない。OpenAI は完全なログを提出しておらず、同氏は追加説明を求めている。米国下院では現在、『AI Kill Switch Act』も審議中で、最強の AI システムには速度制限、一時停止、シャットダウン機能の保持が義務付けられ、極端な場合には政府が停止を命令できるようにするものだ。