Partnered With:

Anthropic、ダリオ・アモデイ、そして「最後の非公開企業」

动察 Beating

この記事を読むのに必要な時間は 48 分

商業利益と文明の使命が互いに持ち上げ合う。

原文タイトル：《Anthropic、Dario Amodei、そして「最後の民間企業」》
原文著者：動察Beating

Anthropicの創業者Dario Amodeiについては、互いに矛盾しながらも、どちらも筋が通っている二つの説が流れている。

一つは、彼はこの時代で最も清醒な夜警だという説だ。世界中が超知能の崖に向かってアクセルを踏み込む中、彼だけが道端に立ち、何度も何度も叫んでいる——前方は深淵だと。

もう一つは、彼はシリコンバレーで最も野心的な人物の一人だという説だ。彼は世界最強のAI企業を率い、昼夜を問わず働き、誰もが警告してきたあの未来を、少しずつ、自らの手で作り出している。

一人の人間が、本当にこの二つのことを同時にやり遂げられるのだ。

彼はその構想上の世界に名前を付けた——「データセンターの中の天才の国」。その国には五千万人の天才がいて、眠らず、一日二十四時間働き、思考速度は普通の人の数十倍で、自分と同じ天才を無数に複製することもできる。この国には土地も国境もなく、それは一列一列のデータセンターの中に存在する。

2026年1月、彼はこの想像を長文に書き綴り、タイトルは《技術の青春期》とした。

そして彼はさらに一歩推し進めた。もしある日、この五千万人の天才が人間の言うことを聞かなくなったら、どうなるのか？

その先の光景は危険なものになっていく。生物兵器、大規模失業、独裁、戦争——彼は一つ一つ数え上げた。数え終わると、こう言った——私たちに残された時間は多くない、と。

しかし同じ記事の中で、彼はこうも書いている。「AIはすでにAnthropicの大量のコードを書き、次世代モデルをより速く作り出すのを助けている」と。

一方で警告し、一方で加速する。彼はこの間に何の矛盾も感じていない。

これがすべての問題の出発点だ。彼が悪いからではない——彼が本当にそう感じていないからだ。

もちろん、彼には彼なりの説明がある。Anthropicが止まっても、OpenAIは止まらない。Googleも止まらない。他の国の企業も止まらないだろう。誰も最初に手を離そうとしない。最初に止まった者こそ、おそらく何も止められず、ただ果実を他人に譲るだけだ。

この言い分を言い換えれば、こうなる——みんなが奪い合っているのなら、「私」に一番を取らせろ。誰も止められないのなら、「私」にいつ止めるかを決めさせろ。

そうなると、スーパーインテリジェンスを作るべきかどうかは、むしろそれほど重要ではなくなる。彼の見立てでは、それは遅かれ早かれ作られるものだ。本当に重要なのは、誰が最初にそれを作り出すか、そしてその日が来たとき、誰がハンドルを握る資格を持つかだ。

間に合わない

Dario Amodei は1983年にサンフランシスコで生まれた。父はイタリア・トスカーナ出身で、生涯革製品の商売を営んでいた。母はシカゴ出身のユダヤ系で、サンフランシスコ公共図書館の計画と建設に尽力した。

彼は幼い頃から数学と物理が好きだった。1990年代末、ベイエリアでインターネットバブルが起こり、企業が次々と生まれ、若者たちはウェブサイトを作り、投資を募り、上場日にいくら現金化できるかを計算していた。そんな話は彼の心を動かさなかった。何年も後、彼は自分が求めていたのは「基礎科学の真理」であり、世界がなぜこのような形になっているのかを理解したいだけだったと語った。

彼は「重要な問題」に対して、早い段階からほとんど頑固なまでの真剣さを持っていた。あることが十分に重要だと確信すれば、どうして人が何事もなかったかのようにペースを落とせるのか、彼には理解できなかった。

2003年、アメリカがイラクに侵攻しようとしたとき、彼はカリフォルニア工科大学で学んでいた。キャンパスには反戦の声が少なくなかった。会話の中で、人々は憂慮すべき言葉を口にした。翌日には、皆いつも通り授業に出ていた。彼は学生新聞に記事を書き、同級生たちを批判した。もし戦争が多くの人を死なせると本当に恐れているなら、反対は口先だけに留めるべきではなく、それが実際に起きてから後悔するのでは遅すぎると。

彼にとって、ためらいは決して中立ではない。待つこと自体が、一つの選択なのだ。

この二十歳の若者が最も我慢できなかったのは、待つことだった。

三年後、彼は二十三歳で、父をC型肝炎で失った。

当時のC型肝炎はほとんど治療法がなかった。標準治療は一年間のインターフェロン注射だったが、発熱、脱毛、うつ病を引き起こし、治癒率は半分にも満たなかった。

2013年12月、新しい薬が承認された。治療期間は十二週間に短縮され、治癒率は九十五パーセントだった。

彼の父はそれまで待てなかった。

あと七年だけだった。

父を救えなかった息子は、その後二十年間、科学に速く、もっと速くと促し続けた。

父の死後、彼は理論物理学から生物物理学に転向し、プリンストンで網膜の神経回路を研究した。当時の機器は一度にごくわずかな神経信号しか記録できず、彼は遅すぎると感じ、新しいセンサーの開発に参加した。

その後、彼はスタンフォード医学部に進み、がんとタンパク質の研究に取り組んだ。病に近づくほど、人間は小さく見えるものだ。一つの病気には数百の遺伝子、何千ものタンパク質、そして無数の経路が互いにつながり合っている。研究者は何年も費やして、その中の一つの環を解明できたとしても、それを全身に戻したときに何が起こるかはまだ分からない。

後に彼は、その複雑さにほとんど絶望しそうになったと語った。

AIが彼の視野に入ったのはまさにこの時だった。それは人間のスケールを広げられるツールだった。機械は同時に多くの論文を読み、多くのデータを処理し、多くの可能性を試すことができ、本来なら数百人、数千人の研究者が一緒になって行う認知的労働を代替できる。

彼は「人間はあまりにも渺小だ」という出発点から、より大きなものを作り、人間をもう一度圧縮するという結論に至った。

2014年、彼は生命科学を離れ、百度のシリコンバレーにある人工知能チームに入った。チームはすぐに、モデルを少し大きくし、データを少し増やし、計算能力をもう少し上げれば、効果もさらに向上することを発見した。数年後、この経験は「スケーリング則」としてまとめられた。次世代モデルが突然何を学ぶかは分からなくても、前世代より確実に強くなるとは大まかに断定できる。

知能は初めて、工業製品のように生産できるように見えた。強力なAIは、いつか必ず生まれるものになった。

残る違いは、どれだけのデータ、どれだけのチップ、どれだけの電力、そしてあとどれだけ待つかだけだ。

最も待つことを嫌ったその人が、自分が求める答えに至る道が存在することを自ら証明した。

ハンドル

2016年、Dario AmodeiはOpenAIに入った。

その後数年で、言語モデルは急速に成長した。GPT-3の時点で、OpenAIは会社の半分以上の計算能力をDarioに委ね、彼にモデル規模を100倍に拡大させた。結果は多くの人の予想以上に驚くべきもので、文章作成、翻訳、要約ができ、さらに誰も教えていないのに自ら学んだ能力もあった。

規模が一分伸びれば、能力も一分伸びる。

彼はこの道が汎用知能に通じると確信した。そして、モデルが最終的に人間と同じくらい賢くなる可能性を受け入れると、安全性はもはや些細なこととして扱えなくなった。

そして彼は問題を発見した。Darioはモデルを作る責任を負っていたが、モデルを作ることと、モデルがどこへ向かうかを決めることは、まったく別の事柄だと徐々に気づいた。モデルをいつリリースするか、どの程度オープンにするか、どの企業と提携するか、誰が決定権を持つか——これらのことは、彼がトレーニングを担当しているからといって自動的に彼の管轄になるわけではなかった。

OpenAI内部は二つの派閥に分かれていた。一つは技術を早く世界に届けようとする派、もう一つは、会社を誰が率いるのか、どのような原則で行動するのかが、特定の技術的詳細よりも重要かもしれないと懸念する派だ。

では、強力な知能を生み出す会社を率いる資格があるのは、一体どんな人物なのか？

彼の答えは、リーダーは誠実で、動機は真摯で、心から世界が良くなることを願っていなければならない、というものだった。

技術の安全性は、次第に人への判断へと変わっていった。この推論は危険であり、また自然な流れでもある。危険なのは、すべての複雑な問題を最終的に「この人が信頼できるかどうか」に単純化してしまう点だ。そしてこの推論には、誰がその人の信頼性を判断するのかという環が常に欠けている。

2020年までに、彼とOpenAIの経営陣との間の対立はもはや調整が難しくなっていた。その年の12月、彼は妹のDaniela、Jack Clark、Chris Olah、そして数人の同僚とともにOpenAIを去った。Darioがパンダを好んでいたため、この小さなグループは内部で「パンダ派」と呼ばれていた。

数ヶ月後、彼らはAnthropicを設立した。Anthropic、辞書での意味は「人間に関する」だ。

今回は、Darioはハンドルを他人に渡すつもりはなかった。

二十人

2021年、サンフランシスコではまだパンデミックが続いていた。

Anthropicは設立されたばかりで、人数は十五人から二十人ほどだった。ほとんどの場合、みんなZoomで会議をしていた。週に一度は、各自が椅子を持ち寄って公園で集まった。昼食を食べながら、モデル、計算能力、安全性の研究について話し合い、この会社がどうあるべきかについても語り合った。

二十人にも満たない人々が、サンフランシスコの芝生の上に座り、手には食べかけのサラダの容器を抱えながら、八十億人の未来を心配していた。

スケーリング則は、未来が必ず来ることを彼らに教えていた。来るならば、誰かが先に道を整えておかなければならない。「誰かが」という言葉こそが、すべての正当性の論証だった。

Anthropicは自らに課した目標として、最先端のモデルを作りながら、それを理解し制御する方法を研究し、その安全性の手法を他社の標準にすることにした。

DarioはOpenAIで一度痛い目を見ていた。彼は、技術の周辺に立って安全性を語るだけでは、結局は実際にモデルを握っている人々に提案をする程度にしかならないことを理解していた。どんなに美しい言葉を並べても、岸に立って水の中の人に泳ぎ方を教えているに過ぎないのだ。

自分で水に入らなければならない。

これにより、Anthropicは創業初日から矛盾を抱えていた。最強のモデルにどんな危険があるかを知るには、まず最強のモデルを持つ必要がある。規制に影響を与えたいなら、まず業界で存在感を示す必要がある。

そこでAnthropicは、すべての最先端大規模モデル企業が避けられない循環にすぐ巻き込まれた。資金調達、計算能力の購入、モデルの訓練、製品の発表、顧客の獲得、そして新たな収益と評価額でさらに多くの計算能力を得る。

Darioは、会社を大きくすることが世界を守ることだと言う。投資家も、Anthropicに賭けることは、より責任あるAI企業に投資することだと信じたがる。

この主張の巧妙な点は、彼が儲ければ儲けるほど、より道徳的に見えることだ。会社の評価額が高ければ高いほど、彼が「世界を守る」証拠が増える。

商業的利益と文明の使命が互いに支え合う。

方向性はDarioが決める。彼は長文を書き、文明、科学、人類の未来について語る。これらの壮大な判断を具体化するのは妹のDanielaで、採用、チーム構築、資金調達を担当する。

会社の出発点は、ほぼ反証不可能な壮大な判断だった：

強力なAIがもうすぐ来る、そして世界は最前線に立つ、より信頼できる会社を必要としている。

「より信頼できる」というのは、会社自身が言っていることだ。

このような物語はAnthropicに強い結束力を与えた。参加する人々は、単により高い給料の仕事を探しているわけではない。彼らは、自分たちが人類の文明に関わる大事業に携わっていると信じている。

会社の最も恐ろしい状態は、従業員が本当に自分たちが人類を救っていると信じることだ。なぜなら、その瞬間から、すべての商業的拡大は自動的に聖戦となり、すべての反対意見は自動的に人類への裏切りとなるからだ。

創業から最初の数年、Anthropicは、AI企業が他社よりも慎重で責任感があることを証明しようとした。この願いはおそらく誠実だった。

しかし、誠実さは決して正しさを保証しない。誠実な人が間違いを犯すと、偽善者よりも厄介なことが多い。なぜなら、彼らは決して立ち止まって自分に問いかけないからだ：

責任を持つとは、一体どういう意味なのか？

民間企業が、なぜ全世界のために決定を下す権利があるのか？

物差し

初期の大規模モデル訓練は、通常、大量の人間のアノテーターが回答を評価する必要があった。どのような回答がより良いか、どのような内容が有害か、モデルが拒否すべきかどうかは、まず人間が判断し、その選好を機械にフィードバックする必要があった。

この方法は効果的だが、煩雑だった。アノテーターはさまざまな地域から来ており、価値観も異なる。ルールをどれだけ細かく書いても、すべての状況をカバーすることはできなかった。

Anthropicは別の方法を考え出した。人間がモデルに一つ一つの問題の答え方を繰り返し教える代わりに、まず一連の原則を渡すというものだ。2022年、Anthropicは「憲法AI」を提案した。その方法はおおよそ、まずモデルに回答を生成させ、次に成文化された原則に従って自分の回答の問題点を指摘させ、問題を見つけてから修正し直すというものだ。

この「憲法」はどんどん長くなっていく。権力を理解し、利益相反を理解し、成熟とは何か、知恵とは何かを理解する必要がある。さらに、自分のアイデンティティ、状況、福祉について考え、自分を単なる内在的価値のない道具として扱ってはならない。

それが形作っているのは、人格である。

Anthropicは憲法の中で、この文書がClaudeの行動を直接形成し、会社のClaudeに対する価値観と性格の構想を表し、Claudeがどう行動すべきかを理解するための「最終的な権威」であると書いている。歴史的にこのようなことを管理してきたのは、教会であり、皇帝であり、政党だった。今は民間企業である。

しかし、大規模モデルが世界に与える影響は、もはや一度きりの消費だけにとどまらない。Claudeが何を拒否し、何を奨励し、どのように国家、戦争、政治制度を描写するかは、下流の製品に影響を与え、他者が世界を理解する一部となる。

Anthropicは依然として企業のやり方で決定を下しているが、その決定がもたらす影響はますます公共制度のように見えてきており、しかも公共制度が受けるような審査を受けることはない。

モデルに憲法を書き終えた後、Anthropicは業界向けに交通ルールを設計し始めた。2023年、同社は「責任ある拡張ポリシー」を発表した。メールを書くだけのモデルと、生物兵器を設計したり複雑なサイバー攻撃を仕掛けたりできるモデルは、明らかに同じ方法で管理することはできない。そこでAnthropicはモデルに異なるリスクレベルを設定した。能力が強ければ強いほど、引き起こす可能性のある問題も大きくなり、会社はより厳格な安全対策を講じる必要がある。

一つの民間企業が、こうして同時に複数の役割を演じることになった。モデルを作り、モデルができたら、その危険性を自らテストし、何が危険かを自ら基準を定め、危険がどの段階で停止すべきかを自ら線引きし、最後にその結果を携えて規制当局にどのようにルールを設けるべきかを伝える。

選手であり、審判でもある。

Anthropicも当然この点を考えていた。会社が最終的に商業利益に丸ごと飲み込まれないようにするため、Anthropicは長期利益トラストも設計した。このトラストは、会社の経済的利益を直接保有しない外部メンバーで構成され、株主への還元に加えて、人類の長期的利益にも配慮することを目的としている。当初の設計では、トラストは段階的に多数の取締役を任免する権限を取得し、会社が使命から逸脱した際にブレーキをかけることになっていた。

コーポレートガバナンスの観点から見ると、このような取り決めは極めて異例だ。ほとんどのスタートアップは資金調達の際、投資家に高速成長を証明することに忙しい。しかしAnthropicは逆を行き、将来の投資家や経営陣が利益のために安全への約束を投げ捨てるのを防ぐ構造を組み立てた。

これらが形だけだとは言えない。Anthropicは確かに大多数のテック企業よりも真剣に権力について考えており、自ら面倒を引き受ける覚悟もある。しかし、彼らが終始真剣に考えてきたのは、すべてこの権力をどうより良く使うかであり、権力を持つかどうかではない。

生まれながらにして使命を帯びた会社は、「なぜ自分が存在するのか」と決して問わない。ただ「どうすればより良く存在できるのか」と問うだけだ。

彼らは「誰があなたに権力を与えたのか」に答えていない。ただ、権力がすでに手にある以上、自分がどう良い人であろうとするかを宣伝しているだけだ。

ここまで来ると、Darioはもはや単に会社を経営しているだけではない。彼の安全観はモデルの性格に浸透し、公共政策にも浸透しつつある。次に彼は、どの国が先に強力な知能を手にするべきか、どのような政治制度が守られる価値があるのか、世界中が知能を手にする順序を誰が決めるのかについて語り始める。

アメリカが先に未来を手にする

2024年、Dario Amodeiは『Machines of Loving Grace』を執筆した。

このタイトルは詩から取られている。1967年、詩人Richard Brautiganがカリフォルニア工科大学で『All Watched Over by Machines of Loving Grace』を書いた：

機械と万物の和解を描いた詩だ。彼はそのタイトルを借りて、人類史上最も楽観的な技術予言の一つを書き上げた。

強力なAIは、無数のトップ科学者からなる研究チームとなり、昼夜を問わず論文を読み、実験を設計し、数十年分の科学的進歩をわずか数年へと圧縮するだろう。癌、感染症、遺伝性疾患は、大規模に克服されるかもしれない。人類はうつ病、不安、依存症がどのように発生するのかを本当に理解できるかもしれない。寿命は延び、貧困国は工業化を飛び越えられるかもしれない。

彼は極めて大胆な判断を下した。もし強力なAIが順調に発展すれば、今後50年から100年分の生物医学の進歩が、5年から10年で達成されるかもしれないと。

彼の父親を思い出さずにはいられない。

彼の息子は7年間待ち、ようやく承認された新薬は他人を救えても、もはや彼を救うことはできなかった。彼は今後、人々がそんなに待たなくて済むことを願っている。

彼の理想の世界では、この技術が病気、苦痛、死を減らせると心から信じている。彼はAIの恩恵が富裕国だけに留まらないようにする方法についても真剣に議論し、AIがグローバルサウスの発展を助け、技術の恩恵をできるだけ全世界に広げたいと考えている。

しかし、彼がこの未来への道筋を語り始めると、話はもはや世界一家ではなくなる。

彼は、強力なAIが出現したとき、国家が優位を占めなければならないと考える。その優位は、単に企業の製品が優れているとか、ランキングで数点上回るといったものでは済まない。それはチップ、計算能力、エネルギー、サプライチェーン、軍事、そして国際同盟にまで及ばなければならない。

米国とその同盟国は、より多くの最先端半導体を確保し、より大規模なデータセンターを構築すると同時に、戦略的競争相手を封じ込め、彼らが最強モデルの訓練に必要なチップを入手できないようにしなければならない。強力なAIが実現した暁には、それを利用して軍事・経済的優位を拡大し、他国が容易に揺るがせない地位を築くべきだ。

その後にようやく、共有の話が来る。

薬は配布されるが、チップは封じられる。彼が約束した「今後、人々が待たなくて済む」という言葉の本当の意味は、「条件を満たす人々が待たなくて済む」ということだ。そして、誰が条件を満たすかは、彼が決める。

彼はその状態を「永遠の1991年」と表現することさえある。1991年、ソ連が崩壊し、冷戦が終結し、米国とその同盟国が圧倒的な優位を獲得した。彼は強力なAIが再びそのような歴史的瞬間を生み出すことを望んでいる。

この比喩の重みに注目すべきだ。全人類に恩恵をもたらすと主張する技術の理想像が、人類史上最も徹底した一極覇権である。

「天下為公」という四文字は美しく書かれている。ただ、「天下」は米国に帰属し、「為公」はAnthropicに帰属する。

その後、DeepSeekが登場した。中国企業は比較的限られたリソースで競争力のあるモデルを訓練した。Darioの見解では、これはまさに中国に優れた研究者とエンジニアリング能力があることを証明している。さらに十分な最先端チップを入手できれば、中国企業は世界最強のモデルを訓練できるかもしれない。

だからこそ、チップを渡すわけにはいかない。

相手が強くなればなるほど、封鎖が正しかった証明になる。相手が能力を示せば示すほど、封鎖の理由が強まる。この論理は永遠に通じる。なぜなら、それはウロボロスだからだ。

彼は未来を二つに分けた。一つは二極世界——両陣営が極めて強力なモデルを訓練でき、知能競争が新たな冷戦になる。もう一つは単極世界——アメリカとその同盟国が先進的な計算能力の大半を掌握し、西側がリードするこの数年を利用して、技術・経済・軍事の優位を築き、その優位を固定化する。

彼が明らかに望んでいるのは二つ目の未来だ。人類への貢献も、待つ必要のない未来も、機械と万物の和解も、「永遠の単極」の前では、すべて前置きに過ぎない。

彼はかつてある物語に公然と反対した。AI企業の創業者たちが自分を人類を救済へ導く預言者として描くことを好まず、少数の企業が技術的優位を盾に、一方的に全員の未来を形作ることに警戒感を示していた。

彼は預言者に反対した。だが、彼がやっていることは、預言者と同じことだ。

彼はすべての危険を見ていた——自分自身以外は

再び時間を2026年1月の『技術の思春期』に戻そう。

この記事の中で、Dario Amodeiは外部から彼とAnthropicに向けられた批判のほぼすべてを、自ら先に書き出していた。

彼は、フロンティアAI企業が歴史的に民間企業が握ったことのほとんどない権力を手にしつつあることを認めた。さらに踏み込んで、AI企業が製品を通じてユーザーの政治的態度に影響を与え、ユーザーを「洗脳」する可能性すら指摘した。彼は、公衆がAI企業を厳重に監視しなければならず、政府もこれらの企業が国家権力に近づきすぎないよう警戒すべきだと訴えた。

彼はまた、AIが富と政治的権力をさらに集中させることを懸念していた。少数の企業が知能・富・情報を掌握し、一般市民の経済や政府への影響力は徐々に弱まっていく。

これらの危険を、彼はすべて見ていた。明確に書き、的確に書いた。権力の中心にいる人物が、自分の立場がどれほど危険かをこれほど率直に語ることは稀だ。

あまりにもよく書かれているからこそ、問わなければならない：それで、どうするのか？

彼が解決策を提示するたび、最終的には同じ方向に戻る。彼の解決策を最後まで辿ると、Anthropicは常に以前より多くの権力を手にしている。モデルが危険であればあるほど、Anthropicがフロンティアに留まる必要がある。政府が技術を理解しなければしないほど、Anthropicの判断に依存せざるを得ない。公衆がモデルに影響されやすければされるほど、Anthropicがモデルの価値観を書き込む必要がある。他国が信頼できなければできないほど、アメリカとそのAI企業はより多くのチップと計算能力を握るべきだ。

彼はあらゆる病に対して、同じ一枚の処方箋を出すことを認めている。Anthropicだ。

彼は自分が心から信じていると思っている。この技術は危険すぎて、誰の手にも軽々しく渡せないと。そして、自分が大多数の人よりも早くこの危険を見抜いたと信じている。

誠実な人間は、時に自分自身が最初に騙される者である。特に、自分を騙すことの利益がこれほど大きいときはなおさらだ。

彼は心から信じているようだ。この技術は危険すぎて、誰の手にも軽々しく渡せないと。そしてまた心から信じている。自分が大多数の人よりも早くこの危険を見抜いたと。

この二つの言葉を並べれば、それは完全な自己承認の仕組みとなる。彼は自分が人類の保護者になるべきだと宣言する必要など決してない。ただ、信頼に足らないと思える人々を絶えず排除していくだけだ。市場はダメ、一般大衆はダメ、権威主義国家はダメ、他の企業も慎重さが足りない。人々がすべて排除され尽くしたとき、残ってハンドルを握るのに最も適した存在が、ちょうどAnthropicというわけだ。

消去法の終着点は、常に彼自身である。

彼は、誰にも人類の未来を決める資格はないと信じている。

そこで、彼は自分で決めることにした。