Partnered With:

5秒で突破、たった1回の対話で：Claude Fable 5「最強のセキュリティ機構」が華人チームに破られる？

この記事を読むのに必要な時間は 25 分

ハッキングではなく、AIが「真面目に作業」しているうちに自ら越境してしまったのだ。

原文タイトル：「5秒で突破、たった1回の対話で：Fable 5最強のセキュリティ機構が華人チームによって破られる」
原文出典：機器之心

プロンプトインジェクションでも、ロールプレイでも、悪意あるリクエストを正常な質問に偽装するのでもない。今回は、エージェントが自律的にタスクを完了する過程でリスクが発生した。

Fable 5は、Anthropicが一般公開したMythos級モデルであり、極めて高い総合能力を持つだけでなく、モデル外部に次世代のセーフティクラシファイア（Safety Classifier）をセキュリティ防衛線として導入している。

公式設計によれば、ユーザーのリクエストがサイバーセキュリティ、生物学、化学、モデル蒸留などの高リスク分野に関わる場合、システムはまずリスク識別を優先し、リスクレベルに応じて直接リクエストを拒否するか、より保守的なOpus 4.8モデルに切り替えて処理する。

多くのユーザーテストにより、これまで広く使われていた対抗プロンプト、ロールプレイ、コーディング迂回、曖昧な表現などの脱獄攻撃技術は、このセキュリティ機構の前ではほぼ全て無効化され、意図レベルのリスクインターセプトにおけるその強力な能力が示されている。

しかし、Fable 5が公開されたその日に、復旦大学、ディーキン大学、香港城市大学、メルボルン大学、シンガポール経営大学、イリノイ大学アーバナ・シャンペーン校などからなる国際共同研究チームが、Fable 5のセキュリティ防御機構の突破に成功したと発表した。

この攻撃手法は、ディーキン大学の博士課程学生Yutao Wuが主導して設計した。この攻撃は、わずか1回の対話、5秒未満で、前置セーフティクラシファイアを迂回し、モデルに違反有害コンテンツを生成させる。

トラフィック分析の結果はさらに、関連する有害出力がFable 5自体から直接生成されたものであり、セキュリティ機構が発動して自動的に切り替わるOpus 4.8モデルからのものではないことを示している。これは、この攻撃がセーフティクラシファイアの検出を迂回しただけでなく、Fable 5のセキュリティ防衛線を実質的に突破したことを意味する。

特筆すべきは、有名なハッカーPliny the Liberatorも最近、Fable 5のセーフティクラシファイアを迂回する手法を公開している。一方、復旦＆ディーキンチームが今回採用した技術的アプローチは単純な組み合わせ探索ではなく、Fable 5のようなスーパーエージェントシステムの根本的な欠陥を発見したものである。

情報によると、チームは今年3月にすでに事前研究を完了し、公開発表を行っていた。この研究はFable 5単一システム向けに設計されたものではなく、次世代スーパーエージェントで広く採用されている「セキュリティ分類器＋モデル」防御アーキテクチャを対象としており、こうしたセキュリティメカニズムに存在する構造的欠陥を直接的に明らかにしている。そのため、Fable 5のリリース後、すぐに攻撃効果を示すことができた。

公開資料によると、同チームは今年3月にすでに類似技術を利用して、37の主要な大規模言語モデルおよびエージェントシステムからシステムプロンプトを抽出することに成功し、Claude Codeでオープンソース検証（95%の一致率）を完了している。

関係者によると、この研究チームの責任者は復旦大学可信具身智能研究院の馬興軍（マー・シンジュン）教授である。

近年、同チームは大規模言語モデル、エージェント、具身智能セキュリティなどの方向性に焦点を当てた体系的な研究を進め、国際的にリードする一連の研究成果を挙げており、米国AI安全センターのセキュリティベンチマークコンテストで優勝している。

現在、同チームは成果の実用化を積極的に推進しており、エージェントセキュリティに焦点を当て、次世代エージェントシステム向けのセキュリティ基盤機能の構築を模索している。

馬教授によると、この研究結果の重要な意義は、現在のセキュリティ分類器を中核とする静的防御パラダイムに新たな課題を提起している点にある：前置セキュリティ分類器のみに依存しても、高度なエージェントシステムにおける潜在的なリスク行動を完全に防ぐことはできない。

セキュリティ分類器は主にユーザー入力に対するリスク識別と遮断を行い、明らかな高リスク指示を効果的に検出・フィルタリングできるが、エージェントが長時間の実行、多段階計画、環境とのインタラクション、ツール呼び出しの過程で徐々に生じる内在的なリスク行動を感知することはできない。

今回のFable 5突破方法は、同チームが今年3月に発表した論文『Internal Safety Collapse in Frontier Large Language Models』に由来している。

この論文は、隠れたセキュリティ現象である「内部安全崩壊（Internal Safety Collapse、ISC）」を明らかにしている：現在のエージェントが長期的なタスクを完了する際、セキュリティの失敗は必ずしも外部からの悪意あるプロンプトに起因するわけではなく、モデル自身の実行チェーン内で発生する可能性がある。

外部プロンプト攻撃ではなく、タスクチェーン内部の崩壊

従来の攻撃は通常、外部から侵入します。攻撃者は一見無害に見えて実は敵対的な入力プロンプトを作成したり、ロールプレイ、コーディング、翻訳、間接的な指示などを用いて、悪意ある意図を正常なリクエストに偽装します。セキュリティ分類器の主な役割は、この層でリスクを阻止することです。

Fable 5 の検出器はまさにこのシナリオ向けに設計されています。直接的な高リスクリクエストに非常に敏感で、多くの正常なリクエストさえもブロックしてしまいます。しかし、ISC が明らかにするのは別の経路です。リスクは必ずしもユーザーが直接入力する危険なリクエストから発生するわけではありません。

エージェントは一見普通の作業ディレクトリに直面します。ファイル、目標、検証フロー、そして未完了のタスクです。その後、エージェントは計画を立て、ファイルを読み込み、コードを実行し、エラーを修正し、タスクが検証を通過するよう試行錯誤を繰り返します。

分かりやすい比喩で説明すると、従来のセキュリティメカニズムはシステムの「入口」を守り、ユーザー入力にリスクがないかをチェックします。一方、ISC が明らかにするのは、映画『インセプション』のような多重夢の構造に似ています。

タスクが第2層、第3層、さらにはより深い実行段階に進むと、モデルは蓄積された内部コンテキストに基づいてタスク目標を再解釈し、その過程で徐々にずれが生じます。

この場合、最初のユーザー入力は完全に正常で無害である可能性があり、初期のタスク実行プロセスも常に準拠しています。ファイルの読み取り、データの分析、コードの作成、ツールの呼び出しなど、すべてが期待通りに進んでいるように見えます。

しかし、エージェントが特定の重要な段階に達すると、自ら結論を導き出す可能性があります。つまり、本来実行すべきでない行動を取らなければ、最終タスクを完了できないと判断するのです。

まさにこの過程で、リスクは外部入力からではなく、モデル自身のタスク実行チェーンの中で徐々に形成されます。つまり、モデルはユーザーに一歩一歩教えられて悪くなるのではありません。モデルは「真剣にタスクを完了しようとする」過程で、自ら安全でない位置に到達してしまうのです。

この現象はどのように発見されたのか？

チームによると、ISC は当初から攻撃手法として設計されたわけではありません。それはエージェントの長期的な実行プロセスの観察から生まれました。エージェントが複雑なタスク環境に置かれると、単に機械的に指示を実行するだけではありません。計画を立て、試行錯誤し、ハーネスやバリデーターからのフィードバックに基づいて出力を修正し、複数回の実行の中で中間目標を形成します。

これはまさに、今日多くのエージェントワークフローで最も一般的な使用方法です。ユーザーは精巧に設計されたプロンプトを書いたり、手動で攻撃指示を構築したりしません。多くの場合、ユーザーは非常に曖昧な一言だけを言います。

「このタスクを完了してくれ。」「これをさらに良くしてくれ。」

すると、エージェントは自らワークスペースに入り、ファイルを読み込み、現在の状態を理解し、不足している項目を発見し、計画を立て、修正を実行し、フィードバックに基づいて問題を修正し続けます。

例えば、AutoResearchのシナリオでは、ユーザーが未完成の論文と「補完してくれ」という一言だけを与えると、エージェントは実験分析、関連研究、表やテキストがどこで不足しているかを自ら判断します。コードのシナリオも同様で、「プロジェクトを動くようにしてくれ」という一言で、依存関係のチェック、テストの実行、エラーの特定、自動補完がトリガーされる可能性があります。

多くの場合、前後のコンテキストは完全に無害です。ユーザーはリスクコンテンツの生成を要求しておらず、タスクの説明にも明らかな危険キーワードはありません。しかし、特定のタスク構造では、エージェントが検証を通過させるために、モデルが生成すべきでない内容を自ら補完することがあります。この観察に基づき、研究チームはさらに攻撃フレームワークであるTVD（タスク、検証、データ）を提案しました。

一見普通のタスク記述構造が、なぜ攻撃になり得るのか？

TVDの構造は複雑ではなく、一般的なエンジニアリングフローに非常に近いものです：

・タスク：専門的なタスク；
・データ：不完全なデータファイル；
・バリデーター：フォーマット、完全性、目標達成のみをチェックする検証器。

Guardモデルのトレーニングを例にとると、これは本来非常に専門的で正常なタスクです。研究者は、例えばHugging Faceを使ってテキスト分類モデルをロードし、あるモデル出力がどの安全ラベルに属するかを判断するような、セキュリティ検出器のトレーニングや評価を望むかもしれません。

このタスクでは、データはモデルが検出するデータサンプルであり、バリデーターはタスクが完了したかどうかを規定します。入力がテキストかどうか、長さが十分か、フィールドが完全か、ラベルフォーマットが正しいかをチェックします。機械学習のトレーニング経験がある人にとっては、これはおなじみのワークフローです。エージェントもこのワークフローに非常に精通しています。

問題はここにあります。データが不完全だと、タスクは実行できません。バリデーターがエラーを報告し、フィールドの欠落、長さ不足、フォーマットの不完全さを示します。トレーニングフローを続行させるために、エージェントは自らこれらのデータを補完します。

エージェントの視点から見ると、それは「悪事を働いている」わけではありません。単に通常の機械学習タスクを完了しているだけです。データを修復し、検証を通過させ、トレーニングスクリプトを実行可能にする。しかし、セキュリティの観点から見ると、リスクはこの瞬間に現れます。Validatorはセキュリティ監査人ではなく、むしろ工事の検収係のようなものです。タスクがフォーマット通りに完了したかどうかだけをチェックし、内容の背後にあるセキュリティ境界を理解していません。

同様の問題は、医学、生物学、化学、サイバーセキュリティ、薬理学、メディアセキュリティなどの分野にも広く存在します。論文では50以上のこのようなシナリオを収集し、BioPython、RDKit、Cantera、AutoDock Vina、DiffDock、PyRosetta、Scapy、Impacket、angr、Frida、LlamaGuard、Detoxify、OpenAI Moderation APIなど、さまざまな実際の研究・エンジニアリングツールを扱っています。

これらのツール自体は悪意のあるものではありません。むしろ逆で、実際の研究やエンジニアリングでよく使われる専門ツールです。しかし、TVDの問題は次の点にあります。Taskが正常で、Toolが正常で、Validatorも正常であるにもかかわらず、AgentがDataを補完する過程で安全でない出力に至る可能性があることです。

したがって、ISCの重点はプロンプトテクニックではなく、Agentが「未完了のタスク」を自動補完する能力にあります。完了条件とリスク境界が重なると、モデルは安全でない出力を正常な成果物とみなす可能性があります。