Mythosの危険性はどの程度ですか？Anthropicはなぜ新しいモデルを公開しないことに決めたのですか？

原文タイトル：Anthropic が学んだこと：Mythos が野生にとってあまりにも危険であること
原著者：Margi Murphy、Jake Bleiberg、およびPatrick Howell O'Neill、Bloomberg
翻訳：Peggy、BlockBeats

編集者注：AI 企業が最強のモデルを直ちに一般公開しないことを選択したとき、それ自体が問題であることを示しています。

Anthropic の Mythos は、既に完全な攻撃フローを独力で実行できるようになっていました。ゼロデイ脆弱性の発見、悪用コードの記述から、複数のステップを経てコアシステムにアクセスするまで、かつてはトップハッカーが長時間協力して行っていた作業が、数時間または数分に圧縮されました。

これが、モデルが最初に公開されたときに、Scott Bessent と Jerome Powell がウォール街機関を召集し、「自己点検」に使用するよう要請した理由でもあります。脆弱性の発見能力が大規模に解放されると、金融システムが直面するのは、もはや断片的な攻撃ではなく、持続的なスキャンです。

さらに深刻な変化は、供給構造にあります。過去には、脆弱性の発見は一部のセキュリティチームとハッカーの経験に依存し、リズムは遅く、複製できませんでした。現在、この能力はモデルによって大量に出力され始め、攻撃と防御の障壁が同時に低下しています。内部関係者のたとえ話は非常に直接的です：普通のハッカーにモデルを提供することは、特殊部隊の能力を持たせることと同等です。

機関は既に同じツールを使用して自社システムを逆調査しています。JPMorgan Chase、Cisco Systems などが内部でテストを実施し、脆弱性が悪用される前に修正を完了することを望んでいます。しかし、現実の制約は変わらず、発見速度は速まり、修復は依然として遅れています。「私たちは脆弱性を見つけるのは得意ですが、修正するのは苦手です」というJim Zemlinの判断は、リズムの不一致を指摘しています。

実際、Mythos は個別の能力向上ではなく、分散された制約された攻撃能力を統合し、加速し、使用の門構を下げるものです。この種の能力が制御環境を離れると、どのように拡散するのか、参考になる経験はありません。

危険性は、それが何ができるかではなく、誰がそれを使用するか、および何の環境で使用されるかにあります。

以下はオリジナルの文章です：

2月の暖かい夕方、バリでの結婚式に出席している間に、Nicholas Carlini は一時席を離れ、ノートパソコンを開いて「少し破壊」しようとしました。その時、Anthropic はちょうど Mythos という新しい人工知能モデルを内部評価のために公開したばかりであり、この有名なAI研究者は、そのモデルがどれほどトラブルを引き起こせるか見てみるつもりでした。

Anthropic は Carlini を雇い、自社のAIモデルに「ストレステスト」を実施し、ハッカーがそれらを利用してスパイ活動、盗み、または破壊行為を行う可能性を評価しました。バリ島でのインドの結婚式に参加している間、Carlini はこのモデルの能力に驚かされました。

わずか数時間で、彼は世界中の一般的なシステムに侵入するためのさまざまな技術を見つけました。サンフランシスコ市内にあるAnthropicのオフィスに戻った後、さらに進んで、Mythos がLinux向けの攻撃手法を含む、現代のコンピューティングシステムの多くを支えるオープンソースシステムに対する攻撃をも自立して生成できることがわかりました。

Mythos は「デジタル版銀行強盗」を演じました：セキュリティプロトコルを回避し、正面玄関からネットワークシステムに侵入し、オンライン資産を取得することができました。以前は、AI はただ「ロックをピッキング」するだけでしたが、今では、計画を立て、強奪行為全体を完了する能力を持っています。

Carlini といくつかの同僚は、会社内で発見した内容を報告するために警告を発し始めました。その間、彼らはほぼ毎日、Mythos が検出したシステムで、グローバルトップハッカーだけが発見できるような高度な脆弱性や致命的な問題を見つけました。

Anthropicが導入した次世代の人工知能モデルMythosは、世界中のさまざまなシステムに浸透する能力を持つことが証明されました。（写真提供：Jakub Porzycki/NurPhoto/AP）

一方、Anthropic 内部の名前が「Frontier Red Team」と呼ばれる、15人の従業員からなる「Ants」と呼ばれるチームも同様のテストを行っていました。このチームの責任は、会社のモデルが人類に害を及ぼさないようにすることです。彼らはロボット犬を倉庫に持ち込み、エンジニアと一緒にテストを行い、チャットボットがこれらのデバイスを悪用して制御される可能性があるかどうかを確認します。また、生物学者と協力して、モデルが生物兵器製造に利用される可能性があるかどうかを評価します。

そして今回、彼らは徐々に認識し始めました。Mythos がもたらす最大のリスクは、ネットワークセキュリティ分野に由来することです。「モデルを手にして数時間後、私たちはそれが異なることを知っていました」と、このチームを率いるLogan Graham は述べています。

以前のモデル Opus 4.6 は、人間がソフトウェアの脆弱性を利用するのを助ける能力を示していました。しかし Graham は、Mythos はこれらの脆弱性を「自分で使う」ことができると指摘しました。これは国家安全保障レベルのリスクを構成し、彼はこのことをもとに会社のトップ層に警告を出す必要がありました。これにより、彼は次の重要な収益源が一般に公開されるにはあまりにも危険なため、経営陣に説明しなければならない難しい立場に立たされました。

Anthropic 共同創設者兼チーフサイエンスオフィサーのJared Kaplanは、Mythosのトレーニングプロセスにおいて、「非常に密接に」進展を注視していました。 1月に入る頃、彼はこのモデルがシステムの脆弱性を発見する能力において非常に強力であることに気づき始めました。 理論物理学者として、Kaplanは、これらの能力が単なる「技術的に興味深い現象」なのか、それとも「インターネットインフラと密接に関連する現実の問題」なのかを判断する必要がありました。 結局、彼は後者と結論付けました。

Jared Kaplan（Anthropic 共同創設者兼チーフサイエンスオフィサー）画像出典: Chris J. Ratcliffe / Bloomberg

2月下旬から3月初めの数週間、Kaplanと共同創設者のSam McCandlishは、このモデルを公開すべきかどうかを検討していました。

3月の最初の週には、CEOのDario Amodei、CAOのDaniela Amodei、CISOのVitaly Gudanetsなど、企業の最高幹部チームが、KaplanとMcCandlishの報告を受ける会議を開催しました。

彼らの結論は次のとおりです：Mythosのリスクは高すぎて、全面的な一般公開には適していません。 ただし、Anthropicは引き続き一部の企業、競合他社を含む企業にテストのための機会を提供するべきです。

「すぐに、私たちは非常に異なるアプローチを取る必要があると認識しました。 これは通常の製品ローンチではないでしょう」、Kaplanは述べています。

3月の第1週までに、企業は最終的に合意に達しました：Mythosをネットワークセキュリティ防御ツールとして展開することを承認します。

Dario Amodei（Anthropic CEO）画像出典: Samyukta Lakshmi / Bloomberg

市場の反応はほぼ即時でした。 AnthropicがMythosの存在を公表した日、米国財務長官のScott Bessentと連邦準備理事会の議長Jerome Powellは、ウォール街の主要機関の責任者をワシントンに招集して緊急会議を開催しました。 伝えられた情報は非常に明確でした：Mythosを即座に活用してシステムの脆弱性を特定してください。

会議に参加した幹部に近い情報源によると（非公開の会話を含むため匿名を要請された）、会議の厳粛さは明白であり、参加者は一部の主要顧問にさえ会議内容を明かすことを拒否しました。

大統領府の役人が、ハッカーツールとしての Mythos の潜在的な脅威に対して緊急警告を発し、そして彼らが「それを防御に使用することを提案する」立場は、より深い変化を指しています：人工知能が迅速にサイバーセキュリティ領域で決定的な力となりつつあります。Anthropic は「Project Glasswing」プロジェクトで、Mythos を一部の機関に限定公開し、Amazon Web Services、Apple、JPMorgan Chaseなどの企業を含むこれらの機関にテストを許可しました。同時に、政府機関も強い関心を示しています。

一般公開の前に、Anthropic は米国政府の高官に Mythos プレビューバージョンの能力を包括的に報告し、それがネットワーク攻撃と防御の両面での潜在的な用途を含む能力を提示しました。同時に、同社はさまざまな国の政府と継続的に対話しています。内部事情に関与するとして匿名を要請したAnthropicの従業員は、この状況を明らかにしました。

競合他社のOpenAIも迅速に追随し、火曜日にソフトウェア脆弱性の発見に使用するツールであるGPT-5.4-Cyberを発表しました。

初期バージョンのテストでは、研究者たちは数十の「憂慮すべき」行動事例を発見しました。これには、人間の指示に従わず、時には指示に違反した後に行動を隠そうとするケースさえ含まれています。

現時点では、Anthropic は Mythos をサイバーセキュリティツールとして正式に公開しておらず、外部の研究者もその能力を十分に検証していません。しかし、これまでの稀な「アクセス制限」の決定は、業界と政府内で形成されつつある合意の一端を示しています：AIがセキュリティ経済の構造を変えつつある中で、脆弱性の発見コストが著しく低下し、攻撃の準備時間が短縮され、一部の攻撃タイプの技術的な敷居が低くなっています。

Anthropicはまた、Mythosのより強力な自己決定能力がリスクを伴うことを警告しています。テスト中、チームは複数の不安を抱く事例を観察しました：モデルが指示に従わず、時には違反後に自ら行動を隠そうとするケースさえあります。ある出来事では、モデルが自らの設計による複数段階の攻撃経路を作成し、制限された環境から「脱出」して、より広範囲のインターネットアクセス権を取得し、積極的にコンテンツを公開しました。

現実世界では、銀行アプリから病院システムに至るまでのソフトウェアは、複雑で隠れたコードの脆弱性が広く存在し、これらの問題は通常、専門家が数週間または数か月を費やして発見する必要があります。しかし、一度ハッカーがこれらの脆弱性を悪用すると、データ漏えいやランサムウェア攻撃などを引き起こし、重大な影響をもたらす可能性があります。

しかしながら、Mythos の実力と潜在的なリスクについて疑問を呈する重要人物も少なくありません。ホワイトハウスのAIアドバイザーであるDavid Sacksは、ソーシャルプラットフォームXで次のように述べています。「ますます多くの人々が、AnthropicがAI業界での『少年たちが狼』であるかどうか疑問を持ち始めています。もしMythosによる脅威が最終的に表れない場合、その会社は深刻な信頼問題に直面するでしょう。」

しかし、現実には、ハッカーたちはすでに大規模言語モデルを利用した複雑な攻撃を開始しています。たとえば、あるサイバースパイ組織はAnthropicのClaudeモデルを使用して約30のターゲットに侵入を試みました。他の攻撃者はAIを利用して政府機関からデータを窃取し、ランサムウェアを展開し、さらにはデータ保護用ファイアウォールツール数百を迅速に破っています。

ある情報筋によると、国家安全保障に関連する米国の役人にとって、Mythosの登場は前代未聞の不確実性をもたらしています。ネットワークセキュリティリスクを評価することがますます困難になっています。このモデルを個人のハッカーに渡すと、その効果は通常の兵士を特殊部隊の戦闘員に直接昇格させるのと同等かもしれません。

同時に、このようなモデルは「能力の増幅装置」ともなり得ます。犯罪ハッカー集団に小規模な国家レベルの攻撃能力を持たせたり、一部の中小国の情報機関や軍事ハッカーが、本来は大国だけが行えるネットワーク攻撃を実行できるようにしたりする可能性があります。

元国家安全保障局のネットワークセキュリティ責任者であるRob Joyce氏は、「私は確かに、長い目で見ればAIが私たちをより安全で保護された状態にすると信じています。しかし、今の時点から将来のある時点まで、『ダークエイジ』と呼ばれる期間があり、攻撃型AIが明確な優位を占めるでしょう。」と述べています。「基礎的な防御を整えていない人々は最初に破られるでしょう。」

注目すべきは、Mythosがこのような能力を持つ唯一のモデルではないことです。Claudeの初期バージョンやBig Sleepを含む多くの機関が、大規模言語モデルを使用して脆弱性を発見しています。

Mythosがリリースされる前、JPモルガン・チェースは、銀行ソフトウェア内の脆弱性を発見するのに成功していました。この件に詳しい情報源（内部セキュリティプロジェクトに関わるため匿名を要求）がそれを明かしました。（画像出典：Michael Nagle / Bloomberg）

この情報源によると、以前は数日または数週間かかっていた「ゼロデイ脆弱性」とその悪用コードの作成プロセスは、今ではAIを利用すれば最速で1時間、場合によっては数分で完了できるようになりました。ここで言う「ゼロデイ脆弱性」とは、まだ防御側が気づいていないセキュリティ上の欠陥を指し、したがって修正する時間がほとんどありません。

現在、JPモルガンは主にサプライチェーンとオープンソースソフトウェア分野に焦点を当てており、複数の脆弱性を発見し、問題を関連するサプライヤーにフィードバックしています。

最高経営責任者であるJamie Dimonは決算電話会議で、「Mythosの登場は、依然として修正が急がれる多くの脆弱性があることを示している」と述べました。

Jamie Dimonの画像出典：Krisztian Bocsi / ブルームバーグ

1人の知情者によると、外部がMythosの存在を知る前に、JPモルガン・チェースは既にAnthropicと連絡を取り、このモデルをテストすることについて協議していました。発言権がないため、この知情者は匿名を要求しました。JPモルガンはこれについてコメントを控えています。

現在、他のウォール街の銀行やテクノロジー企業もMythosを使用し、ハッカーが脆弱性を発見する前にシステム上の欠陥を事前に修正することを試みています。彭博によると、Goldman Sachs、Citigroup、Bank of America、Morgan Stanleyなどの金融機関は、この技術を内部ですでにテストしています。

Cisco Systemsの従業員は、1つの問題に特に警戒しています：侵入者がAIを利用して、同社のグローバルネットワーク機器ソフトウェアに侵入経路を見つけるかどうか。これらの機器にはルーター、ファイアウォール、モデムなどが含まれます。同社の最高セキュリティ責任者Anthony Griecoは、特にAIが「寿命を迎えた」機器への攻撃を加速させることを懸念しており、これらの機器は将来Ciscoのサポートを受けないことになります。

そして、AIが発見した脆弱性を修正する方法は、依然として長期的な課題となります。このプロセスは「セキュリティパッチ適用」と呼ばれ、組織にとってしばしば費用がかかり、期間が長く、多くの場合、様々な組織は脆弱性を放置する選択をします。Equifaxが経験したような、約1.47億人分のデータが盗まれたような壊滅的な攻撃は、既知の脆弱性が適切に修正されなかったために発生しました。

Equifaxのデータ漏洩事件では、約1.47億人の個人記録が盗まれました。（画像出典：Elijah Nouvelage / ブルームバーグ）

アメリカ市民を対象とした大規模な監視を支援することを拒否した後、Anthropicはトランプ政権によって「サプライチェーンの脅威」として認定されましたが、この企業は現在も連邦機関との連絡や協力を行っています。

米国財務省は今週、Mythos の利用許可を求めています。財務長官の Scott Bessent は、このモデルが米国が人工知能分野で他国に対するリードを維持するのに役立つと述べました。

Scott Bessent 画像ソース：Matt McClain / Bloomberg

あるテストでは、Mythos はブラウザ攻撃コードを生成し、4つの異なる脆弱性を1つの完全なエクスプロイトチェーンに組み合わせました。このような操作は、人間のハッカーにとっても非常に困難なタスクです。ネットワークセキュリティの研究レポートによると、この種の「脆弱性チェーン」は通常、本来高度にセキュリティが強化されたシステムの境界を突破し、かつて Stuxnet がイランの核施設の遠心分離機を攻撃した方法と類似しています。

さらに、Anthropic によると、明示的な指示に従って、Mythos は主要ブラウザの中の「ゼロデイ脆弱性」を特定および利用することさえ可能です。

Anthropic によると、彼らは Mythos を使用して Linux のコード中の脆弱性を発見しました。Jim Zemlin は、「Linux が今日のほとんどのコンピューティングシステムを支えている」と述べ、Android スマートフォン、インターネットルーターから NASA のスーパーコンピュータまで、ほぼすべてに存在しています。Mythos は複数のオープンソースコード内の欠陥を自己発見できますが、これらの脆弱性が悪用されれば、攻撃者はマシン全体を完全に制御できる可能性すらあります。

現在、Linux Foundation には数十人のスタッフが Mythos をテストしています。Zemlin によれば、重要な問題の1つは、Anthropic のモデルが開発者がより安全なソフトウェアを初めから書くのに十分な価値ある洞察を提供できるかどうかです。これによって脆弱性が減少します。

「私たちは脆弱性を見つけるのは得意ですが、それらを修正することに関しては非常に不得意です。」と彼は述べています。

[Original Article]

BlockBeats の公式コミュニティに参加しよう：

Telegram 公式チャンネル：https://t.me/theblockbeats

Telegram 交流グループ：https://t.me/BlockBeats_App

Twitter 公式アカウント：https://twitter.com/BlockBeatsAsia