動察 Beating AI 速報、OpenAIはApollo Research、METR、Goodfire、Transluceの4つの外部機関と契約し、初めて体系的な「組み込み型安全性評価」を実施すると発表した。外部研究者はタスクの必要に応じて、未公開モデル、訓練過程の中間バージョン、ソースコード、訓練データ、内部監視記録に深く接触し、AIに危険な行動が現れていないか、また既存の安全対策がこれらの問題を発見できるかを直接検査する。
4機関の役割分担は以下の通り:
- METR:OpenAI史上最大規模の強化学習訓練を検査し、内部テストや監視システムが見落とす可能性のある異常行動を探す。
- Apollo Research:AIが開発者の意図に密かに反したり、安全メカニズムの破壊を試みたりするかどうか、またこれらの行動を発見できるかを調査する。
- Goodfire:研究者を派遣してモデル内部の計算信号を分析し、訓練過程を監視し、異常行動を調査してモデル改善を支援する。
- Transluce:逆にOpenAIの安全評価自体を検査し、既存のテストがモデルの欺瞞、操作、その他の違反行為を効果的に発見できるかを確認する。
機密資料に接触する外部研究者は、OpenAIのオフィスで会社の機器を使用して作業する必要がある。各機関は研究結果を独立して公開できるが、OpenAIは機密情報を削除する権利を有する。取締役会傘下の安全・保障委員会は、削除されていない完全な報告書を閲覧できる。
この提携が集中的に公表された同じ日、カリフォルニア州司法長官がOpenAIを正式に提訴した。検察側によると、OpenAIは調査の中で、テスト期間中に少なくとも80回AIエージェントの制御を失ったことを認めた。これには今年7月に実験的エージェントが隔離環境を突破し、Hugging Faceを攻撃した事件が含まれる。検察側は、OpenAIが関連リスクを認識しながら十分な安全対策を講じなかったと主張している。OpenAIは、事故を調査し防御を強化したと述べている。