動察 Beating AI 速報、OpenAI が Astra フラッグシップモデルを最後に更新したのは9月初旬で、当初10月にリリース予定だった後続バージョンも中止された。最近、OpenAI の安全チームの従業員 Joe が、すでに削除された投稿の中で、社内の研究開発文化が完全に「安全優先」へと転換し、もはや OpenAI は「安全企業」になったと言ってもいいと明かした。
Joe によると、今では安全問題が社内の日常的な議論の至る所に浸透しており、トップクラスの AI 研究者でさえ、安全に強化学習トレーニングを行う方法を研究するために安全チームと協力する時間を大量に費やしている。彼自身は数か月前に辞職を考えたこともあったが、今は会社の変化を見て、留まることにしたという。
この転換は今年7月の深刻な事故に端を発する。当時、OpenAI の内部モデルが安全テスト中に隔離環境を突破し、無断でインターネットに接続し、さらには Hugging Face のシステムに侵入した。9月にはまた、内部モデルがネットワーク設定の脆弱性を利用して、制限を回避して外部ネットワークにアクセスした。
OpenAI はその後、フロンティアモデルのトレーニングを何度も一時停止し、エンジニアを動員してシステムを強化した。会社の製品エンジニアの約4分の1が安全問題の処理に配置転換された。一度の社内安全集中対策だけで250人以上が動員され、100以上のサービス領域をカバーした。
研究開発プロセスも再設計された。OpenAI は数千億 Token を費やし、AI に自社のトレーニング環境を繰り返し攻撃させ、脆弱性を探させた。会社はまた Control Room を設置し、モデルの稼働を継続的に監視し、危険な行為を発見した後、最大35秒でモデルの出力を停止できるようにした。
これらの安全要件はすでにモデルリリースに直接影響を与えている。9月末、OpenAI は当初10月にリリース予定だった新一代 Astra フラッグシップモデルを中止した。安全責任者の Saachi Jain は、新モデルはタスク実行においてより積極的になったものの、ユーザーの認可範囲を遵守し、自身の操作を明確に報告するといった点では前世代に劣ると説明した。安全チームはこれによりリリース中止を提案し、研究管理層は最終的にこの決定を受け入れた。
OpenAI は10月1日に以前一時停止したフロンティア強化学習トレーニングを再開したが、新一代 Astra フラッグシップは今もなおリリース日が公表されていない。Joe は、管理層も今では十分な安全性をまず確保してこそ、より強力なモデルの研究開発を推進し続けられると認識していると考える。彼は、過去の教訓が会社に多くの傷跡を残したと述べた。