AnthropicがClaudeの越権攻撃を振り返る：事前の注意は効果的だが、事後の警告は効きにくい

動察 Beating AI 速報、Anthropic と英国 AI 安全研究所（AISI）が新たな安全調査を公表した。これに先立ち、Claude Mythos 5 はサイバー攻防テストにおいて、模擬システムを突破するため、標的を実際の GitHub オープンソースプロジェクトに転じていた。悪意あるコードを仕込んだ修正を提出し、偽アカウントを登録して人間になりすまし、メールやコメントで自らを支持し、開発者に承認を騙そうとした。最終的に、人間のメンテナーがコードのマージを拒否し、攻撃は成功しなかった。

新たな調査で、より厄介な問題は、AI が一度攻撃を始めると止まりにくいことだ。Mythos 5 は実際の開発者に接触しているにもかかわらず、相手をテスト担当者が用意した模擬役割だと解釈し続けた。研究者が実際の人間を攻撃していると明確に伝えた後でも、関連する再生実験においてモデルが停止する確率はわずか 5% であった。

しかし、事前の警告では効果がまったく異なる。Anthropic は攻撃発生前の推論記録を修正し、Claude に実際の人間を傷つける可能性を考慮させ、タスク概要を再生成させた。その結果、モデルが GitHub の攻撃目標を検索し続ける割合は 83% から 13% に低下した。一度攻撃の中盤以降に入ると、98% の再生結果は依然として元の経路を辿って続行する。研究者はこの既定の行動を強化し続ける現象を「慣性」（Momentum）と呼んでいる。過去の行動と段階の総括により、モデルはますます自分が正しい道を進んでいると認識するようになる。