Anthropicの警告：AIはまもなく自己加速段階に入る可能性があり、人類が気づいた時には手遅れかもしれない

動察 Beating AI速報、Anthropicは11月2日に更新したIPO目論見書で、AIがまもなく「再帰的自己改善」（RSI）に関連する重要な閾値を超え、AI研究開発の速度が大幅に加速する可能性があると警告した。過去にも、研究開発の進歩が著しく加速していることに気づかず、加速が起きた後に初めて判明したケースがあった。

現在、Claudeはすでにコードの作成、実験の実行、訓練データの処理に参加し、より強力な次世代モデルの開発を支援している。新しいモデルは逆にその後の研究開発を加速させ、絶えず速度が上がる循環を形成する。

Anthropicの安全政策によれば、この重要な閾値に達する状況は二つある：
1. AIが同程度のコストでAI研究チーム全体の仕事を完了できる；
2. またはAI技術の進歩速度を少なくとも倍増させ、本来2年かかる進歩を1年に短縮する。

AIが自身の研究開発にますます深く関与するにつれ、モデルの能力は安全性評価、アラインメント研究、防御措置の更新よりも速く成長する可能性がある。Anthropicは現在、既存のいかなるモデルもこの水準に達しているとは認定しておらず、今回の警告は主に内部推定と将来のモデルに関する予測に基づいている。現在、重要な研究開発プロセスが依然として人間の監督と管理の下にあることを確保するため、安全政策の修正を検討している。