中止されたFable 5と、止まらないAI

題図：『AI BUBBLE』Beeple

文｜Sleepy

今のAI企業たちは、口先で最も警戒しているものこそ、実際には必死に作り出しているものだ。

会議でリスクについて話す時、彼らは誰よりも真剣に「技術の進歩が速すぎる、誰かが規制すべきだ」と語る。しかし会議が終われば、モデルは通常通りリリースされ、一つ一つがより強力になり、スケジュールはますますタイトになる。

同じ連中、同じ口で、午前中に警告し、午後には加速する。彼らが偽っているようには見えないが、その轟々と進む機械も本物で、一日たりとも止まることなく、ますます速くなっている。

Anthropicが最新でリリースしたモデルFable 5は、わずか3日間しか生き延びなかった。

6月9日に公開され、6月12日に停止された。その日の午後、Anthropicはアメリカ政府から電話を受け、90分の猶予が与えられた。夕方5時21分、正式な指令が届き、すべての外国籍の人物は、どこにいようとこのモデルを使用できなくなり、Anthropic自身の外国人従業員でさえも対象となった。理由は国家安全保障だ。

国家安全保障という四文字が、一つのモデルに課せられるのは、少し重く聞こえる。しかしそれが下されたのは、Fableがただ者ではなかったからだ。このモデルは、Anthropicがこれまで公開していなかったMythosの「安全バージョン」であり、安全ガードレールを設けて、人々がこれをサイバー攻撃や科学研究など、深刻な結果を招く可能性のある用途に使えないようにしていた。しかしAmazonがアメリカ政府に報告書を提出し、誰かが脱獄してFableを介して直接Mythosモデルを呼び出せることを明らかにした。アメリカ政府が懸念したのはこの点であり、果断に強硬手段に出た。

Anthropicはおそらく、AIリスクに最も真剣に取り組んでいる企業だろう。しかし残念ながら、ここ2年でモデルの能力は急速に成長し、この分野全体が一つの方向性、すなわち前進だけを認めている。

Anthropicは同業他社よりも早く、このまま進めば技術が制御不能になるリスクがあると警告し、政府が危険なモデルを止める権限を持つべきだと自ら提案していた。

まさかアメリカ政府が実際に動いた時、最初に止められたのは自社のモデルだったとは。

Amazonはリスクを警告し、アメリカ政府は国家を守ろうとし、Anthropicは自らが定めた安全対策を実施している。誰もが責任を果たしたが、それが合わさっても満足のいく結果には至らなかった。

これは、ようやく誰かが業界にブレーキをかけたように見えるが、実際はそうではない。モデルがリリースされてから3日で命令によって停止されたということは、まさに誰も自ら速度を落とそうとしなかったからこそ、外部から手が加えられたことを示している。もし企業、セキュリティ研究者、顧客、そしてアメリカ政府の間で、共に減速するための仕組みが本当に存在していたなら、国家安全保障という形での一方的な措置には至らなかっただろう。しかも、この措置で停止されたのはAnthropicだけであり、他の企業は依然として動き続けている。Fableのこの3日間は、業界が減速し始めた証拠ではなく、誰もそれを適切に減速させることができない証拠なのだ。

ブレーキも競争力になり得る

Fable 5は、最初から妥協の産物だった。

Anthropicが実際に持つ真に強力なモデルはMythosだ。それが公開されていないのは、能力が高すぎるからだ。2026年4月、同社はProject Glasswingを通じてMythosのプレビュー版を一部のセキュリティ機関に提供し、脆弱性を探させた。

脆弱性を探すという行為自体、善悪を区別するのは難しい。同じ能力でも、それを穴を塞ぐために使うのか、それとも穴を通り抜けるために使うのかは、その能力を持つ者次第だ。

しかし、Anthropicもまた、日々加速するこのレースに参加している。6月になると、同社はついにそのような能力を一般に公開した。FableはMythosの安全バージョンであり、リスクの高いリクエストはより制限されたOpus 4.8にフォールバックする。リリース前にはレッドチームテストが実施され、トラフィックは30日間保持され、誰かが脱獄を試みた場合に発見できるようになっている。同時に、それは商品でもあり、価格設定、顧客レビュー、試用期間があり、収益を上げ、投資家の目に良く映る必要がある。

安全性を競争力にするというのは、それ自体が矛盾したことだ。競争力とは他者より速く走ることであり、安全性とは速く走りすぎないことだ。Anthropicはこの二つを同時に成立させようとしたが、どうやって両立させるかについて、今でもおそらく明確な答えを持っていない。

創業者のDario AmodeiはOpenAIの研究担当副社長を務めており、Anthropicの創設メンバーの多くもOpenAI出身だ。彼らはモデルが世代を重ねるごとに強くなる時の興奮を目の当たりにしており、その興奮の下に何が潜んでいるかも知っている。

OpenAIのその後の出来事は参考になる。アルトマンは解雇され、5日後に復帰し、逆に取締役会を再編した。Superalignmentチームは設立時に「4年で安全性問題を解決する」と宣言したが、1年も経たずに解散した。

Anthropicはその騒動の後に生まれたもう一つの答えだ。強力なモデルも作るが、ブレーキを制度に組み込むと主張する。責任ある拡大ポリシーは2026年までにバージョン3.0に更新され、モデルを安全レベルで分類している。技術は指数関数的に急速に発展しており、ルールを定める世界が追いついていないため、政府は危険な展開を阻止する権限を持つべきだと彼らは言う。

自らモデルを作りながら、政府がモデルを止める権限を持つべきだと積極的に主張する。その背後には信念が必要だ。その大きな手が慎重に権限を使い、手続きを踏むと信じなければならない。この立場には、以前は幾分敬意を抱いていた。しかし、Fableの3日間で、その信念がどれほど頼りないかが明らかになった。

今年の初め、AnthropicはClaudeの軍事利用をめぐってペンタゴンと衝突した。Claude Govを米国政府の顧客向けに提供したが、大規模な国内監視や無人での致命的な自律型兵器は拒否した。

同社にとって、これは責任の境界線だ。国家安全保障のシステムにとって、境界線自体が問題だ。なぜなら、境界線は完全な服従を拒否することを意味するからだ。

Anthropicが言う安全とは、制御不能にならないことだ。国家安全保障システムが言う安全とは、すべてを掌握できることだ。

ブレーキの定義すら一致しないのに、誰が責任を果たせるかを証明できるだろうか。Anthropicはすぐに、自分だけでは証明できないことに気づいた。

止まれず、止める勇気もない

6月初め、Anthropicはあるアイデアを提案した。最先端の研究所は協調してペースを落とし、場合によっては一時停止し、社会や政策が追いつく時間を確保すべきだと。

協調。

なぜ協調が必要なのか。一社だけがペースを落としても、世界はより安全にならない。Anthropicが止まっても、OpenAIは止まらないかもしれない。Googleも止まらない。資本市場は決して止まらない。

だから、一人だけが一方的に自制しても、この状況では美徳とは言えない。先に止まった者は記憶されることなく、ただ取って代わられるだけだ。

Anthropicの問題は、責任を取るかどうかではない。責任を取るべきだと自覚している。本当の問題は、他者が必ずしも責任を取らない状況で、一人がどこまで責任を果たせるかだ。

過去どんなに複雑な産業事故でも、比較的明確な原因を特定することができた。しかし、最先端のAIはそうではない。モデルの能力は、計算資源、論文、オープンソースコミュニティ、投資家の成長への圧力、そして国家の技術的優位性への欲求から生まれる。それぞれの要素は「決定を下したのは自分ではない」と責任を逃れられる。しかし、それらが組み合わさることで、世界は今の状況に至ったのだ。

責任は分散され、加速は維持され続ける。

Anthropicは、政策文書で「AIの進歩が速すぎてガバナンスが追いつかない」と書きつつ、新モデルをリリースする。

私はAnthropicを偽善的だと言いたいわけではない。Anthropicは、もはや理想主義だけで生き残れる小さな研究所ではない。OpenAI、Google、xAIと競争し、資金調達やIPOへの期待に対応しなければならない。シリコンバレーでは口では安全性を尊重するが、実際に資金を投じる際には、より強力なモデルを持つ者が評価される。

そのため、彼らは物事を二つに分けるしかない。自分たちでできることは先に進め、業界全体で取り組むべきことは別にリストアップし、他社の動きを待つ。

現実的であり、やむを得ない選択だ。

Fableは、まさにこの狭間で生まれた。車を止められないなら、より複雑なブレーキシステムを搭載するしかない。狭間から生み出されたものは、どちら側からも評価されにくい運命にある。

中間に立つ

Fableがリリースされた後、最初に不満を示したのは米国政府ではなく、安全性を重視する人々だった。

IBM X-Forceの研究者Chompie氏は、Fableがセキュリティに関連する多くのリクエストを拒否し、時にはブログ記事を読ませるだけでもトリガーされると指摘した。

セーフティガードは意図を識別しようとするが、モデルが認識できるのは言語とコンテキストのみだ。ツールを取り出したのがドアを修理するためなのか、鍵を壊すためなのかを区別できず、結局両方のユーザーをブロックしてしまう。

2日後、ある報告書が米国政府に提出された。その瞬間から、この問題はAnthropicが自社のセキュリティ設計を評価するだけの話ではなくなった。

Anthropicはタイムラグを繰り返し強調している。リリース前に、同社は米国政府に何度も通知し、米国政府は反対せず、リリース前のテストにも参加し、同社は展開許可を得ていた。ところが3日後、同じシステムが突然、製品を撤回するよう求めてきた。

Anthropicによれば、米国政府は具体的な詳細を一切示さなかったという。同社はデモを確認し、それは既知の深刻ではない脆弱性であり、他の公開モデルでも同様に再現可能だと判断した。声明が発表されるまで、米国政府が示したのは口頭での主張だけだった。

このモデルについて、開発者も不満を抱き、アメリカ政府も満足していない。Anthropicはその中間に立ち、板挟み状態だ。

Fableの一件の背後には、不信の連鎖が機能している。一周回ってみれば、各段階が前の段階を警戒している。結局、社会はもはや、この中で誰が本当に責任を負えるのかを信じるのが難しくなっている。

e/acc は一種の気候

この問題の難しいところは、どの当事者も自分が責任を負っていると感じており、しかもその主張が筋が通っている点だ。誰もが手に、部分的な正当性を握っている。

恐ろしいのはまさにここだ。各自が自分の小さな部分だけに責任を持ち、それらを合わせても、全体に対して責任を負う者はいない。責任は粉々に断片化されている。企業の内部統制、モデル評価、輸出規制、顧客の需要、国家間の競争、投資収益——それぞれの断片は何か真実を映し出しているが、全体を映し出すものは一つもない。

定義すら統一できないとき、全員が争わない唯一の方向性は「速さ」だけになる。

Effective accelerationism、略してe/accは、ここ数年で鮮明な技術楽観主義の一派となった。技術を迅速に推し進め、規制や社会構造、倫理を気にせず、進歩が大きな問題を解決すると信じる。

すべての企業が自らをe/accと称するわけではない。Anthropicはなおさらだ。しかし、ある主張が大環境を変えるのに、全員の承認を必要としたことは一度もない。

能力を巡る競争、尽きることのない計算リソース、資金調達のタイムライン、国家間の駆け引き、軍需、開発者のより強力なツールへの渇望。これらが合わさり、一種の気候を形成する。この気候を好まない者もいるが、その中で他の皆と同じように生きていかねばならない。

Anthropicのように強力な存在でさえ、この加速する時代にあってブレーキを繰り返し口にする数少ない存在だが、結局は自分が十分に速く走れることを証明しなければならない。技術の加速に悪人は必要ない。必要なのは、すべての善人が「自分だけは最初に止まれない」と感じることだけだ。

ブレーキは常に存在する

Fableの一件は、ブレーキを手放す代償だ。公権力の介入を期待するのは、業界の自主規制が不十分だからだ。しかし、公権力は必ずしも期待通りに機能するとは限らない。国家安全保障という機械が最も得意とする動作は、協議ではなく、封鎖、許可、例外だ。

AIはもはや、境界線を明確に引ける技術ではない。最先端のモデルが商業、科学研究、国防、インフラに同時に組み込まれたとき、誰がそれをどのように使うべきでないかを決定する能力を持つのか。

誰もが速すぎると分かっている。しかし、速度そのものが、すでに生き残るための条件となっている。

100年以上前にも、誰も止めることを敢えてしなかった加速があった。

1914年8月1日午後5時、ドイツ皇帝ヴィルヘルム2世は全軍総動員を命じた。命令が発せられてから数分後、ロンドンから電報が届き、ドイツがフランスを攻撃しなければ、イギリスがフランスを戦争に巻き込まないようにできると伝えた。皇帝は大喜びした。彼が最も恐れていたのは二正面作戦だったが、これで全軍を東のロシアに向けられる。彼は参謀総長の小モルトケに向かって言った。「では、東だけに進軍しよう」と。

小モルトケは言った。「それは不可能だ」と。

彼の理由はこうだ。100万人規模の軍隊がどのように進軍し、どの鉄道路線を使い、何時何分にどの駅に到着するか、すべて計画に基づいて決められている。このスケジュールは丸一年かけて練り上げられたもので、完成した後は一字たりとも変更できない。

後に多くの歴史家がこの話を語った。語る者の多くは、これを機械の寓話として捉え、現代戦争の機械がこれほど精密になり、機械を動かす者でさえ制御できなくなったと述べた。

しかし、さらに後になって、人々は別の事実を発見した。そのスケジュールは実は変更可能だったのだ。鉄道部門は毎年、臨時の路線変更や時間変更の訓練を行っており、東部戦線の計画も常に準備されていた。列車を実際に方向転換させることは可能だった。

つまり、ブレーキは常に存在していたのだ。

その夜に実際に起こったのは、ブレーキがなかったことではなく、ブレーキのそばに立っていた人物が、ブレーキに触れてはならないと断言したことだった。彼は変更が可能かどうかを尋ねようとしなかった。変更できないと確信しすぎていたのだ。

こうして列車は次々と西へ向かい、本来は3カ国間に封じ込められたはずの紛争を、ヨーロッパ全体を飲み込む大戦へと引きずり込んだ。誰もこの結果を望んでいなかった。当時の誰もが、自分は最もすべきことであり、最も避けられないことをしているだけだと思っていた。

私がこの列車を思い出すのは、AIの加速もまた、こうした発車した列車だからだ。それは誰かが作り出したものではなく、計算能力、資本、国家の野心が、一つ一つ連結されて、自ら前進している。列車には全員が乗っており、誰もが目の前の最もすべきことをしているが、列車は依然として前進し続けている。

これがAI時代に私が不安を感じる理由だ。危険が見えていないわけではない。ブレーキが実際に存在しないわけでもない。ブレーキを叫ぶ者は車内に座っており、危険を知る者の足は依然としてアクセルを踏んでいる。

この業界が最も警戒しているものは、往々にして、自らが必死に作り出しているものそのものだ。Fableは本来、全員に立ち止まって一瞥させるべき事例だった。しかし、これを書き終える頃には、また新しいモデルがいくつかリリースされ、どれもが自らが最強だと主張している。

ブレーキを踏もうとする者は、一人もいない。

-END-

参考資料

[1] Anthropic: Claude Fable 5 および Claude Mythos 5

[2] Anthropic: Fable 5 および Mythos 5 へのアクセス停止を求める米国政府の指示に関する声明

[3] Anthropic: 責任あるスケーリングポリシー バージョン3.0

[4] Anthropic: AI指数関数的成長に関するポリシー

[5] Anthropic: 米国国家安全保障顧客向け Claude Gov モデル

[6] Axios: Anthropic、トランプ政権の要求後90分以内にFableを削除

[7] Axios: AmazonとホワイトハウスがAnthropicのFableを終わらせた方法

[8] TechCrunch: サイバーセキュリティ研究者、AnthropicのFableのガードレールに不満

[9] Washington Examiner: Amazon研究者、Anthropic AIを使用してサイバーセキュリティの脆弱性を発見

[10] AP: 元OpenAIリーダー、安全性が華やかな製品に後回しにされていると発言

[11] WIRED: OpenAIの長期的AIリスクチームが解散

[12] Business Insider: OpenAIとAnthropic、自らが猛スピードで構築する未来について警告を続ける

BlockBeats の公式コミュニティに参加しよう：

Telegram 公式チャンネル：https://t.me/theblockbeats

Telegram 交流グループ：https://t.me/BlockBeats_App

Twitter 公式アカウント：https://twitter.com/BlockBeatsAsia