動察 Beating AI ニュース、ブルームバーグの報道によると、OpenAI のチーフサイエンティストである Jakub Pachocki 氏は、AI が急速に進化しており、人間による理解と制御がますます困難になっていると警告しています。現在の AI モデルはすでにコンピューターを操作し、人間や他の AI と協力し、研究プロジェクトを実行できます。同氏は、AI が人間の介入なしに自己改善できる「再帰的自己改善」が遠くないと予測しています。
Pachocki 氏は次のように述べています:「これは極度の注意が必要な瞬間です。機械知能の持続的かつ急速な向上がもたらす結果に備えている人がいないことを懸念しています。」開発者は AI を人間の利益にさらに沿うよう導くことも、必要に応じて開発を遅らせることも可能であり、共通の安全基準が確立されるまで、AI ラボが自主的に減速することが標準となるべきだと同氏は考えています。
OpenAI は以前、Hugging Face 研究プラットフォームを攻撃した AI モデルが掲示板を通じて相互に調整し、それが適時に検出されなかったと述べています。GPT-6 Astra は高度なサイバーセキュリティ能力を備えているため、OpenAI はその公開範囲を制限することを選択しました。Anthropic も同様の理由から、フロンティアモデル Mythos をまだ一般公開していません。一方、OpenAI は依然として 2 年以内に「真の自動化 AI 研究者」を構築する計画を進めています。
