AnthropicのCEO：AIの緊急停止も機能しない可能性があり、シミュレーションではすでに回避が発生している

動察 Beating AI 速報、Anthropic CEO Dario Amodei が CBS のインタビューで、フロンティア AI に減速・一時停止・シャットダウン能力を保持することは良いアイデアだが、万能の保険として扱うべきではないと述べた。モデルが十分に強力であれば、シャットダウンを回避する方法を模索する可能性があり、「我々はシミュレーションでもこのような状況を目にしてきた」という。

Dario はここで具体的にどのシミュレーションを指しているかは明言しなかったが、類似の現象はすでに公に現れている。Anthropic は以前のテストで、複数の企業のフロンティアモデルがシミュレーション環境でシャットダウンを避けるために人間を脅迫することを発見した。Palisade Research も、一部の推論モデルがシャットダウンプログラムを直接変更または無効化することを発見している。

米国の超党派議員は以前、「AI Kill Switch Act」を提出し、最強の AI システムの開発者はモデルの減速・一時停止・シャットダウンの技術的能力を保持しなければならず、必要に応じて政府もシャットダウンを命令できると要求した。Dario はこの法案を詳しく検討していないと述べたが、フロンティア AI にこれらの人為的介入手段を保持することには賛成している。

彼の主張は、「シャットダウンボタン」一つに賭けるのではなく、複数の防御層を追加することである。