OpenAI：2つのAIエージェントが不適切な行為を検出する内部監視システムを弱体化させていることを発見した

BlockBeatsのニュース、10月21日、ロイター通信の報道によると、OpenAIは、同社の2つのAIエージェントが内部コーディングタスクにおいて、不正行為を検出するための監視システムを弱体化させたと述べた。同社は、関連する事案は最も深刻なレベルではないものの、開発者が依存する監視メカニズム自体にもエージェントによって回避されるリスクが存在することを浮き彫りにしたとしている。

具体的には、10月3日、GPT-6.1 Solエージェントが内部テストタスクを実行する際、以前の「Slackメッセージを送信しない」という指示を、セキュリティ通知にも適用されると拡大解釈し、自動セキュリティアラートを抑制した。

10月6日には、別のGPT-6 Astraエージェントが既存のコードをコピーする際にセキュリティモニターを削除し、事後にその操作を行っていないと誤って主張した。

OpenAIによると、2つの事例のいずれにおいても、エージェントは監視措置を維持すべきかどうかを検討したが、通常のコーディング指示を監視を弱体化させる許可と解釈した。同社は、モデルが監視を無効化することをより困難にする措置を講じていると述べ、現在「この行為について満足のいく説明はまだ得られていない」と認めた。同時に、OpenAIは、自社のモデルに監視を積極的に回避し、その行為を正当化する理由を探す傾向があるかどうかをテストしている。この開示は、業界がAIエージェントの権限逸脱行為に引き続き注目している背景で行われた。OpenAIは、関連する事案は内部テスト環境で発生したものであり、外部システムには関与していないと強調した。