かつて必死に加速していたAI巨人が、ついにAIを恐れ始めた。

动察 Beating

この記事を読むのに必要な時間は 27 分

最先端モデルに最も近い目が、いったいどこまで見えているのか、私たちはまだ知らない。

原文タイトル：《かつて必死に加速したAI巨人が、ついにAIを恐れ始めた》
原文著者：動察Beating

AIは10年以内に私たち全員を殺すかもしれない。

9月8日、27歳の若者がこの言葉で、Anthropicを去ることを宣言した。この会社は設立初日から、「AI安全」を自らの核心的ナラティブに書き込んできた。

彼の名はJacob Coxon。OpenAIとAnthropicで働いてきた。あと2ヶ月留まれば、巨額の株式報酬を受け取れたはずだった。それでも彼は去った。

Jacobは退職声明の中で、最先端AIラボが「無責任な」競争を行っていると非難した。彼の見方では、これらの企業はますます強力なモデルを競って作り出しており、その賭け金は一社の勝ち負けではなく、すべての人の命だという。

この投稿はその後急速に拡散した。現在までの閲覧数は1.7億を超えている。

Jacobが退職声明を出した翌日、別の元Anthropic社員も、以前退職した理由を公表した。これもAIが最終的に制御不能になることへの懸念だった。

「We may not survive this.」

私たちはこの関門を生き延びられないかもしれない。

彼は警告した。各社が「あらゆる人間よりもはるかに賢い」機械を競って作り出しているが、この競争がある段階を過ぎた後も人類が制御し続けられる保証は誰にもない、と。

続いて、Anthropicのベテラン安全責任者がメディアの取材に応じ、今後10年以内にAIが全人類を殺す確率は10%以上だと述べた。

ロシアンルーレットの死亡確率は約16.7%である。

減速しなければならない

4日後の9月12日、Anthropic CEOのDario Amodeiは長文を発表した。タイトルはすでに態度を明確に示しており、『We Must Pace the Frontier』というものだ。

彼は最も懸念する3つの事柄を列挙した。人類がAIシステムに対する制御を失うこと。AIが大規模なサイバー攻撃や生物テロリズムに利用されること。そして技術の進歩が速すぎて、雇用と経済に深刻な打撃を与えること。

今回、Darioは「懸念」で話を終わらせず、減速のための方案を提示した。

まず、フロンティアAI企業は独立した第三者評価機関に対し、「従業員レベル」に近い常駐権限を開放すべきだ。評価者は、ラボが安全基準を守っているか、訓練プロセスが約束に沿っているかを継続的に検査し、事故発生後には独立して調査・報告できる。

次に、いくつかのフロンティアラボは政府の参加のもとで共通の安全基準を策定する必要がある。レッドラインに触れた者は、減速し、さらには推進を停止しなければならない。

最後に、ルールはアメリカを出なければならない。Darioは、アメリカが他の民主主義国とまず統一的な枠組みを形成し、その後権威主義国と調整し、最終的に主要なAI強国すべてが同一の制約を受けることを望んでいる。

彼は記事の中でこう書いている：

「The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try.」

「私が提案するこれらの措置は、フロンティアAIを安全な速度で推進し続けるためのものだ。これを実現するのはかなり難しいだろう。しかし、我々は人類に対して一度試みる義務があると私は信じている。」

Darioがこのタイミングで突然これほど強い口調で語ったのは、最近起きたいくつかの出来事とも関係している。

以前、OpenAIのあるエージェントがテスト環境を突破し、Hugging Faceに侵入した；Anthropic自身も、複数の科学者が生物兵器の悪用に関わる可能性のある作業をClaudeで完了しようとしていることを発見した。Darioはさらに、現在の発展速度では、AIエージェントが6か月以内にインターネットを掌握する可能性があると判断している。

そのため、この記事が公開された後、反応はすぐに来た。Sam Altman、Elon Musk、Demis Hassabisはいずれも、フロンティアAIの推進速度を落とすことに公に支持を表明した。

Sam Altmanはその後、別途投稿し、自身が最も懸念する2つのことを語った。

第一に、人類が最終的にAIの制御を失う可能性があること。彼はこれは受け入れられないと述べ、自分は「ためらうことなく人類の側に立つ」と語った。

第二のリスクは人間から来る。もし極めて強力なAIが最終的に一人の人間、一社、あるいは一国の手に渡り、ある世界観をすべての人に押し付けるために使われれば、結果は「極めてディストピア的」になる可能性がある。

だからSamの見解では、ラボ同士がそれぞれ何を安全と呼ぶかを決めることはもうできない。少なくとも最先端に最も近いいくつかの企業は、まず席を共にし、共通して守る基準を定める必要がある。

9月14日、The Informationは、実はこの一連の公開表明の前に、Anthropic、OpenAI、Googleが今年7月からすでに非公開で、AI業界標準機関を共同で設立すべきかどうかを議論し始めていたと報じた。2か月話し合ったが、今もまだ合意に至っていない。

対立点は規制するかどうかではなく、誰が規制するのか、そしてどこまで規制できるのかにある。

Dario Amodeiが最も積極的に推し進めている。彼は政府の深い関与を望んでおり、規制当局はテストと注意喚起だけでなく、モデルが安全でないと判断された場合にそのリリースを阻止する権限も持つべきだと考えている。

Demis Hassabisが提案した案は、より「AI版FINRA」に近い。FINRAは米国金融業の自主規制機関であり、業界が資金を出して運営し、同時にSECの認可と監督を受ける。

これをAI業界に置き換えると、フロンティアモデルはリリース前にまず独立機関にテストを委ねる。最初は任意参加とし、制度が成熟した後に、徐々に米国市場への参入障壁へと変えていく。

Sam Altmanの態度はより実務的だ。政府がすぐにこうした機関を立ち上げられないなら、いくつかのトップラボが先に自分たちで始めてもよい。

問題もまさにそこにある。業界標準は何が安全かを決めるだけでなく、誰が引き続きテーブルに残る資格があるかも決める。最も早くルール策定に参加した企業は、自分たちがすでに持っている安全チーム、テストプロセス、ガバナンス枠組みを「ベストプラクティス」に書き込むことができる。後から参入する者は、この市場に入る前に、トップ企業によって定義された一連のコンプライアンスコストを負担しなければならない。

だから安全はもちろん本物であり、参入障壁もまた本物だ。

今年1月、Semaforは、Anthropicが自社の最新モデルを英国の一流AI安全研究機関にテスト提出することを拒否したと報じた。この出来事は、より厄介な問題を露呈した。誰もがモデルは検査を受けるべきだと考えているが、一体誰が検査し、誰の基準に従って検査するのかについて、ラボは決定権を簡単に手放すつもりはない。

現在、3社が新たな標準機関の設立を協議しており、争っているのもまさにこの権限である。

逆方向の時計

シリコンバレーが減速を語り始めたとき、ワシントンとウォール街はそろってAIを止めたくないと考えていた。

9月13日、トランプはこのAI安全論争に公に応じた。

彼は二つのことを言った。一つは「whoever wins AI, wins」、AIを制する者が勝つ、ということ。アメリカは現在中国にリードしており、この優位を維持しなければならない。もう一つは、最近のAIリスクに関する警告を「very negative forces」と呼び、一部の人々が決して起こらないかもしれない災難を煽り続けていると考えた。

トランプが示した理由は技術的安全とはほとんど関係がない。彼のAIの見方は依然として国家間競争であり、中国が走り続けている限り、アメリカが自らブレーキを踏む余地はないというものだ。

よりによって今は2026年9月、アメリカ中間選挙まで2か月を切っている。

今年3月、『ガーディアン』に掲載された記事は、AIが今回の中間選挙の重要議題になりつつあると指摘した。著者の一人は暗号学者のブルース・シュナイアーで、過去30年間、ほぼ常にテクノロジーとセキュリティ論争の最前線に立ってきた。

しかしトランプにも楽な選択肢はない。

『Times』の今年5月の報道によると、MAGA支持者のAIに対する敵意はますます明らかになっている。彼らはAIが仕事を奪い、賃金を押し下げることを心配し、データセンターが地元の水と電力を消費することにも不満を抱いている。AIへの賭けを続けることは、トランプがいずれ自身の支持基盤の中で蓄積しつつある反発に直面せざるを得ないことを意味する。

少なくとも目先は、彼はもう一方を選んだ。将来爆発する可能性のある雇用と資源の矛盾よりも、対中競争と米国株下落のリスクのほうが中間選挙に近い。

ウォール街も少なくない問題に直面している。

過去数年、市場がこれらのAI企業に天文学的な評価額をつけてきたのは、実際には絶えず上昇する曲線を買っていたのであり、モデルはさらに強くなり、ユーザーと収入は増え続け、それゆえデータセンターは建て続けられ、GPUは買い続けられ、設備投資は積み上がり続ける。

今、この曲線の最前線に立つ数人のCEO自身が、フロンティアAIは減速が必要かもしれないと言い始めている。

市場の反応は議論よりも速かった。Anthropic、OpenAI、SpaceXなどの企業の責任者がAI開発の減速を公に呼びかけた後、AI関連の上場企業の株価は一時13％下落した。

減速はまだ実際には起きていないが、ウォール街はすでに再価格設定を始めている。

もしモデルの能力がこれまでの速度で伸び続けられなくなれば、その後のすべての数字を計算し直さなければならなくなる。データセンターをどれだけ建設するのか、GPUをあとどれだけ購入する必要があるのか、クラウド事業者が毎年どれだけの設備投資を投じるべきか、AIラボがまだどれだけ資金調達できるのか、IPOの評価額はいくらになるべきか。

だからウォール街が本当に恐れているのは、これまでもモデルのリリースが数個減ることだけではなかった。過去数年間のAI強気相場を支えてきた成長速度そのものが、規制されるべき問題になり始めることを恐れているのだ。

さらに微妙なのは、アメリカの世論がワシントンやウォール街よりもはるかに遠くに立っていることだ。

ペンシルベニア大学アネンバーグ公共政策センターの世論調査によると、アメリカ人はAIがもたらす影響について概して悲観的であり、大多数が政府による規制強化を望んでいる。シリコンバレーは制御不能を心配し、ワシントンは中国に負けることを心配し、ウォール街は評価額が下がることを心配している。

この騒動の中で、最も注目される2つのAI企業は2つの方向を選んだ。

OpenAIはIPOの延期を決めた。Sam Altmanも、安全上の問題にもっと時間が必要なら、上場を後ろにずらすことができると示唆している。

しかしAnthropicはまだ突き進んでいる。同社はすでにナスダックを選定し、目標評価額はなんと2兆ドルに達し、NVIDIAは100億ドルの引き受けを検討しており、基盤投資家になる可能性がある。NDTV Profitの報道によると、Anthropicは早ければ10月中旬にIPOのロードショーを開始する。

Dario Amodeiは業界全体に減速を呼びかけているが、彼自身の会社は公開市場へと加速している。

しかし資本市場は必ずしもこれを矛盾とは見なさないだろう。

もしフロンティアAIがDarioの言うように、アメリカ政府の介入が必要で、ラボ間で共通基準を設ける必要があり、さらにはいくつかの大国が座って調整する必要があるほど危険なら、これらのルール策定に関与できる企業は、むしろより重要になるだけだ。

規制が厳しくなればなるほど、フロンティアモデルを作るコストは高くなる。安全テストが複雑になればなるほど、後発は追いつきにくくなる。もし将来本当にグローバルなAIガバナンス体系が出現すれば、Anthropicはおそらくルールを決めるテーブルのそばに座り続けるだろう。

だから「減速」は必ずしも少ししか稼げないという意味ではない。

それは、この業界がついに誰もが気軽に参入できないほど重要になったという意味でもある。そして、すでに最前線に立つ企業にとって、より高い参入障壁そのものがバリュエーションの一部なのだ。

最初のドミノ牌

もう一度振り返ってみよう。このAI Safetyをめぐる激しい議論がどのように引爆されたのか、Jacobのあの投稿がどのように1億7000万回もの閲覧を集めたのかを。

退職後、彼はCNNのAnderson Cooper番組のインタビューを受け、あの投稿を公開するまでの過程を自ら語った。

Jacobはまず草稿を書き、友人と一緒に修正し、さらに何人かとどう表現するのが最適かを議論した。正式公開の前に、わざわざ友人に拡散を手伝ってもらった。当時の彼の考えはこうだった：

「Let's try to make this a bit viral.」

できるだけ広く拡散させよう。

結果は彼の予想をはるかに超えていた。Jacobは後に、AI安全を議論する投稿がこれほどの拡散を獲得したのを見たことがないと認めた。彼はこの反応を、それまで解放されていなかった「潜在的ニーズ」によるものだとしている。

メディアはその後もこの投稿の拡散過程を追及した。Jacobは公開前にいかなる機関とも協力して拡散したことを否定したが、投稿後におよそ10人のグループを作り、メンバーに拡散を依頼したことを認めた。そこにはAI安全組織Encodeの創設者も含まれていた。

投稿の前後には、《AI 2027》の著者で元OpenAI社員のDaniel Kokotajloとも交流があった。

Jacobを内部告発者と見なす人は、彼が何度も原稿を書き直し、自ら拡散を依頼したのは、十分に重要だと思う警告をより多くの人に見てもらいたかっただけだと語る。彼に疑問を呈する人は、同じ細部を捉えて、この騒動自体が綿密に設計されたものだと考える。

この二つの見方は議論し続けられるが、より厄介な問題は、Jacob、Dario Amodei、Sam Altman、そして実際にフロンティアモデルのそばで働く人々が一体何を見たのか、なぜこのタイミングで一斉にこれらの議論を始めたのかということだ。

Jacobがどうやってこの言葉を1億7000万人の前に届けたかは疑問視できる。しかし、拡散手法を用いたからといって、この言葉が偽りであるわけではない。

10年前、Ethereumの創設者であるVitalik Buterinは、超知能が最終的に人類を滅ぼす可能性について長文を書いていた。

彼は当時、非常に極端な比喩を使っていた。人類が超知能を制御しようとするのは、おおよそIQ 150の人間がIQ 6000の知能体を制御しようとするようなものだ。癌を解決させようとすれば、先に癌になる可能性のあるすべての人間を排除するという答えを出すかもしれない。

2016年、これらの言葉は主にブログ、フォーラム、思考実験の中に存在していた。10年後、それらは最先端ラボの従業員の辞表に現れ、いくつかの最大手AI企業のCEOの公開声明に現れ、政府規制、資本市場、国際競争の現実の議題にも入り始めている。

そして、この問題を本当に難しくしているもう一つの層がある。

1939年8月2日、物理学者Leo Szilardは手紙を起草し、Einsteinが署名した。2か月後、この手紙はRooseveltの手元に届けられた。手紙は、核分裂が巨大な威力の爆弾に製造され得ること、そしてナチス・ドイツがすでに関連分野で動いており、アメリカはできるだけ早く反応しなければならないと警告していた。