Partnered With:

Cerebras CEOインタビュー：250億の受注残を抱え、AI計算需要はすでに完売状態

この記事を読むのに必要な時間は 37 分

最速のチップである必要はない。ただ、他者のチップに完全に依存しないことが重要だ。

原文タイトル：オープンソースの勝利、AGIの到来、そしてスコセッシのAIツールキット——Cerebras & Black Forest Labs CEO
原文出典：All-In Podcast
原文翻訳：深潮 TechFlow

要点まとめ

今回の番組には、AIインフラ企業のCEO2名が出演した。Andrew FeldmanはCerebrasの創業者で、同社は推論チップに特化し、IPOを完了し、250億ドルの受注残を抱えている。彼が繰り返し強調したのは、AIコンピューティング需要はすでに予約で埋まっており、「作れば人が来る」という状況ではないということだ。OpenAI、Anthropic、SpaceX、Googleの需要は供給をはるかに上回っている。そして推論（reasoning）の出現により、計算集約度が再び急上昇しており、これこそが高速マシンの戦場となっている。Robin RombachはBlack Forest Labsの創業者で、生成画像・動画モデル（Fluxシリーズ）を手掛け、以前は潜在拡散アルゴリズムを発明した。これは現在のすべての画像・動画生成モデルの基盤となっている。彼は最近Martin Scorseseと協力し、監督が頭の中のイメージをAIで可視化できるようにした。しかし彼がより興奮している方向性は、同じマルチモーダルモデルが映画制作に使えるだけでなく、ロボットに搭載して頭脳としても機能することだ。生成動画の最終地点はスクリーンではなく、物理世界にある。

注目ポイントの要約

推論こそが次のコンピューティングのブラックホール

・「興味深いのは、今回の波は過去とは異なり、『作れば人が来る』と賭けているのではなく、需要がすでに生産能力を予約し尽くしていることだ。我々には250億ドルの受注残がある。」

・「推論とはreasoningであり、reasoningは膨大なトークンを消費する。これこそが高速マシンの戦場だ。」

・「Cerebrasが15倍速ければ、24時間稼働させることで、数週間から数ヶ月分の思考に相当する処理が可能になる。」

オープンソースと主権：企業が求めるのはコントロール権

・「誰も依存されることを好まない。ハイパースケーラーはx86時代にIntelに縛られた教訓を学んでいる。」

·「最速のチップである必要はない。ただ、他人のチップに完全に依存しないことだ。」

·「今、オープンソースモデルを動かしたいなら、OpenAIのOSS 12Bか中国のモデルしかない。アメリカにはもっと国内のオープンソース選択肢が必要だ。」

AGIは20年前の定義で既に到来している

·「20年前、30年前、40年前に提唱されたAGIの定義は、すべて大幅に超えている。」

·「チューリングテスト？とっくに打ち破っている。」

·「問題は、もうどう質問すればいいか分からないことではない。AIが逆に教えてくれるんだ：『おい、愚かな人間ども、お前はこれを考慮していないぞ』と。」

生成型動画は人間の創作を代替するものではない

·「これらのAIモデルは一種のメディアだ。特にマーティン・スコセッシのような人に対して、使い方を規定したくない。」

·「言語は多少ロスのあるコミュニケーション手段だ。視覚情報の信号はあまりにも豊かだ。頭の中のイメージを可視化した画像に変えること、これこそがテクノロジーの最も強力な点だ。」

·「最も興味深い結果は、ほぼすべて、人間がループ内で繰り返し反復するときに現れる。」

映画からロボットへ：同じモデル

·「同じマルチモーダルモデルを使って映画を撮り、それをロボットの頭脳として展開できる。」

·「事前学習された動画は、暗黙的にモデルに物理的相互作用の法則を教え込む。そして、同じモデルから動作予測、つまりロボット制御を得る。」

·「目標は、in-context promptでロボットに指示できることだ：『あのオレンジジュースを持ってきて』。今はまだできないが、それが方向性だ。」

AIインフラ狂騒：データセンターが都市よりも大きい

司会者：こんな建設規模は見たことがない。万里の長城やピラミッド以来、人類はこれほど多くの資本、時間、そして賢い人材を一つのものに投入したことはない。あなたは実際にこれをやっている。あなたの顧客はデータセンターを建設しており、あなたは重要な一翼を担っている。2026年、Cerebrasは何をしているのか？テキサス州のあの巨大なプロジェクトはどうなっているのか？

回答：私たちが話しているデータセンターは、今後数年間で地球上の過去50年間の総電力量を超える電力を消費することになります。一つの建物だけでサッカー場ほどの広さがあり、中規模都市以上の電力が供給されています。全米各地で建設中、カナダでも建設中、北欧でも、パリやフランス全土でも、中東でも、さらにはカザフスタン、タジキスタン、ジョージアでも大規模データセンターが建設されています。どの国も、どの州も、この流れに参加したいと考えています。

誰が代金を支払うのか？OpenAI、Anthropic、SpaceX AI、Googleなど、その需要は驚くほど巨大です。興味深いのは、今回の波は過去の多くのテクノロジーブームとは異なる点です。彼らは「作れば人が来る」という賭けをしているのではなく、需要がすでに生産能力を予約し尽くしているのです。私たちには250億ドルの受注残があります。OpenAIはさらに多くのデータセンターを求め、Microsoftも、AWSもさらに求めています。需要は客を待っているのではなく、客がすでに列をなしているのです。

司会者：これにより「トークンマキシング」という言葉も生まれました。無限にトークンを消費することです。このような巨大な需要が本当に現実的な価値を生み出しているのか疑問視する声もあります。

回答：もちろん、大量の価値が生み出されています。同時に、多くの無駄な試みもあります。AWSが登場した当初と比較してみましょう。自社のIT部門を迂回できるのがあまりにも便利で、すべてのエンジニアがクレジットカードで登録していました。多くは確かに有用でしたが、後になって「ああ、これはやるべきではなかった」と思うものもありました。しかし全体的には利益が出ており、ただ一部の方向性が空振りしただけです。

1988年にコストコがパロアルトにオープンしたとき、人々はセーフウェイを訪れるようにコストコを訪れ、すべての棚を一通り見て回りました。これは非常に悪い買い物の仕方で、22ドルもする不要なものを4つも買ってしまうからです。その後、人々は戦略を学びました。奥に行ってチキンを取り、子供の誕生日パーティー用に18個のカップケーキを手際よく取るようになりました。AIトークンの消費も同じです。最初は誰もが使い放題でしたが、今では企業は戦略を考え始めています。どのタスクにはオープンソースモデルで十分か、どのタスクには最先端モデルが必要か。私たちはAIをビジネス運営のように管理し始めています。

推論がトレーニングに取って代わる：なぜ高速マシンが今回の主役なのか？

司会者：Sam AltmanがAllInで述べたように、次のステップは推論（reasoning）です。意図を理解し、戦略を策定し、他のスレッドのエージェントと相互検証することです。私たちは「次の単語を推測する」というところから長い道のりを歩んできました。今、Cerebrasはまさにその中心に立っています。なぜなら、推論は推論（inference）であり、計算量が極めて大きいからです。

回答：推論には膨大なトークンが必要で、それが高速マシンの活躍の場を生み出している。reasoningの各ステップで内部トークンを消費し、本来は時間をかけて良い回答を得る仕組みだ。Cerebrasが15倍速いということは、24時間の推論を実行すれば、他社の数週間から数ヶ月分の思考量に相当する。

今朝、BitTensor上のZAIのGLM-52モデルを試してみた。無限の計算リソースを与え、1時間ごとに世界中でまだ認識されていないトレンドを教えてもらうように設定した。すると、モデルは自ら議論を始めた：Hacker NewsやRedditで探すべきか？それともInstagramのトレンドの方が先に現れるのか？私は推論モデルがバックグラウンドで自己議論しているのを観察していた。無限トークンは無限の推論を意味し、Cerebrasの15倍の速度で24時間実行すれば、他社の数週間に相当する。

司会者：Cerebrasには独自のMoore's Lawがあるのか？内部で性能が倍になる期間はどのくらいか？

回答：これまでのすべてのチップはMoore's Lawに従い、18ヶ月で性能が倍になってきた。我々はこのチップでその曲線を断ち切り、全く新しい軌道を描いている。私の見解では、今後18ヶ月で2倍をはるかに超える性能向上が見込める。新しいアーキテクチャにはまだ最適化の余地が大きく残っている。GPUは20年ものの古いアーキテクチャで、プロセスノードの微細化で何とか持ちこたえているが、新しいアーキテクチャには学び、調整すべきことがまだたくさんある。

司会者：250億の受注残を抱え、OpenAIのペースにも追いつかなければならない。彼らは将来の潜在的な競合相手だ。どうやって会社を運営するのか？

回答：現在、シリコンウェハーは遊休状態になっていない。需要が大きすぎる。しかし、おっしゃる通り、OpenAIも独自チップを開発しており、Amazonも同様だ。誰も他社に依存されることを好まない。ハイパースケーラーはx86時代にIntelに縛られた教訓を学び、GPUベンダーは少数のハイパースケール顧客に縛られた教訓を学び、新たなクラウドを支援した。独自チップを開発する重点は、最速であることではなく、他社に完全に依存しないこと、少なくとも自らの運命の重要な一部を掌握することにある。

オープンソースと主権：企業が求めるのはコントロール権

司会者：オープンソースが今、重要な局面を迎えている。私は初期にOpenClaudeを使い、その後Kimmyを使ったところ、Claudeのトークンが爆発的に消費されたが、Kimmyでは違いを感じ取れなかった。オープンソースモデルがreasoningを導入し始め、今年になって突然その差が縮まった。

答え！：フェラーリでスーパーに行きたくはないだろう。時にはスポーツカー、時にはミニバンに乗り、子供がチェリオスをこぼしても気にしない。企業も同じだ：難しい課題は最先端モデル（OpenAI、Anthropic、Gemini）に任せるが、背後にある大量の日常的な問題には、堅実なオープンソースの能力で十分だ。会社がWorkdayでExcelのセルにコピペするのにどれだけ時間を費やしているか考えてみてほしい。そんなことに金メダル級の数学は必要ない、安定したオープンソースで十分だ。

最近また一枚のカードがめくられた：金融、医療といった規制産業（HIPAA、FINRA）はデータ漏洩を恐れ、インテリジェンスの主権を他人に握られるのを嫌い、モデルをローカルに置き、オープンソース版を使ってより多くのコントロールを得ようとしている。OpenAIは数ヶ月前にOSS 12Bをリリースしたが、まあまあだ。しかしアメリカが今オープンソースを実行しようとすると、OSS 12Bか中国のモデルしかなく、国内のオープンソースの選択肢はあまりにも少ない。NVIDIAもこの機会を見て、自社のオープンソースモデルを推しているが、Jensenも迷っている。彼の顧客はSam、Dario、Elon、Sergeyであり、オープンソースを推すことで顧客と競合するのではないか？

Cerebrasは比較的中立的な立場にいる。我々はGLM、Kimmy、Qwenシリーズ、そしてOpenAIのクローズドモデルも実行している。さらにGSKが自社開発したモデル、UAEのG42やMBZUAIの独自モデルも実行している。主権というのは、一つのトレンドだ。

AGIはすでに到来、パラダイムは死なず、人が死ぬ

司会者：Fable 5とo-56がリリースされた時、政府は「一旦停止してから公開せよ」と言った。Anthropicと行政層の関係は緊張していたが、今は和らいでいる。段階的リリースは合理的だと思うか？モデルは本当に危険なのか？

答え：こんなことは以前にはなかった。しかし振り返って考えてみると：モデルが創造的思考において十分に強力になった時、政府が「段階的にリリースしてくれ」と言うのは、実は間違っていないと思う。我々は強力な薬にも同じように規制をかける。もちろんFDAのあの7年にも及ぶ無駄な書類仕事を推奨するわけではないが、「少なくとも政府にレッドチームテストをさせ、我々の防御が機能することを確認させろ」と言い、2〜3週間与えて明らかな脆弱性を修正させるのは、不合理な要求ではない。

しかし今は最も二極化が進んでいる時だ。もしこれがTrumpの仕業でなければ、他の大統領だったら、反応は全く違っていたかもしれない。二極化は明確な思考を損なう。両陣営は愚かなことも賢いこともする。政府の現場の人間は実際真剣に取り組んでいるが、ただ事態の進展が速すぎるのだ。

Palo Alto NetworksのNikeshが私に教えてくれた：彼らはモデルを自社のソフトウェアでテストしたところ、1時間以内に数十の重大な脆弱性を発見し、全ての作業を中断して6週間かけてパッチを当てなければならなかった。これが強力なツールだと気づく。おそらく最初は少数の人に見せ、まずはレッドチームテストを行うべきなのだ。

司会：20年前のどんな定義に照らしても、AGIはもう到来している。そう思うか？

回答：その通りだ。チューリングテスト？とっくに突破されている。10年、15年、20年、30年、40年、50年前に提示されたどんな定義も、我々ははるかに超えている。SF作家が投げかけた問いにはすべて答えを出し、彼らは「もう質問はない、すまない」と言うだろう。だからこそ、一見周辺にいるように見える人々の言葉に耳を傾ける価値がある。Ilyaが8年前に安全性について語った時、君は「何だって？」と言ったが、結果的に彼は正しかった。Elonがロケットのコストをほぼゼロにすると言った時、君は「何だって？」と言ったが、結果的に彼はそれを実現した。

司会：再帰的学習だ。一つの質問を投げかけ、結果を学び、もう一度質問すると、より良い答えが返ってきて、より多くの材料をカバーする。これらのループが生み出す答えは、「少し良い」から「はるかに良い」へと直接飛躍する。指数曲線の傾きが急すぎる。

回答：再帰的な利得は指数関数的だ。君はより良くなり、もう一度繰り返し、さらに利得を得る。傾きが急すぎる。我々はその始まりを目にしたばかりだ。計算資源を投入し続ければ、答えはどんどん良くなるのか？トークンや予算を使い切れば止まるが、この指数曲線はどこで終わるのか？それとも永遠に右上がりなのか？この問題は今、非常に興味深い。

人間の学習速度は世代交代に制約されている。ゾウや大型哺乳類は15〜20年で一世代だ。速くするには、ショウジョウバエのように、一日で二世代を経る必要がある。AIは今、数千世代分の学習速度を手に入れようとしている。心理学を学んでいた時、教授がこう言った：パラダイムは死なない、人が死ぬのだ。Freud、Skinner、Jungの門下生が20〜40年にわたって指導的地位を占め、次の世代が疑問を呈するまで待つ。AIは世代間隔をショウジョウバエの速度にまで圧縮した。

私が賭けているのはこれだ：我々の子供たちと彼らが知るすべての人は、癌で亡くなることはないだろう。経済には変動がある。自動車が登場すれば、馬の蹄鉄を打つ人々は苦境に立たされる。しかし、得るものと失うものをリストアップしてみよう：無限のエネルギー、無限の食料、無限の知識、無限の教育、無限の住居。我々は千年もの間、一対一の指導が教室での授業より優れていることを知っている。AristotleはAlexanderを指導し、Socratesは彼の弟子たちを指導した。しかし我々は工場式の養殖教育を選んだ。今やAIは、すべての子供に自分自身の方法で学ぶためのメンターを提供できる。

ScorseseのAIツールボックス：頭の中のイメージを現実に変える

司会：Robin RombachはBlack Forest Labsの共同創業者兼CEOで、本社は黒い森地方のFreiburgとサンフランシスコにある。君は以前Stable Diffusionを手掛け、latent diffusionアルゴリズムを発明した。Black Forest Labsの事業内容は？目標は何か？

回答：私とパートナーたちは2年前にこの会社を設立しました。それ以前にStable Diffusionを開発し、さらにその前にはlatent diffusionを発明しました。これは現在の画像生成、動画生成、さらには物理AIモデルの背後にある基本アルゴリズムです。原理は、自然データ（画像、動画、音声）を効率的な表現空間に圧縮し、その上でtransformerを訓練するというもので、JPEGやMP3の原理に似ていますが、ニューラルネットワークアルゴリズムで実現しています。博士課程の頃、ミュンヘンでこれを開発しました。

現在はマルチモーダル視覚モデルに取り組んでおり、画像と音声データを同時に事前学習しています。新しいパラダイムに移行しつつあります：アクション予測を組み合わせることで、同じモデルが画像、動画、音声を生成し、さらに動作を予測し、最終的には現実世界のロボットに展開できるようにします。

司会者：画像から動画、音声、そしてロボットへ。モデルが動画を生成できるなら、それは世界を理解していると言えるでしょう。

回答：直感的知能と深い推論は、互いに補完し合う二つの知能の形態です。私たちは直感側からアプローチし、画像が最も自然な出発点であり、計算量も動画ほど大きくありません。しかし現在はマルチモーダルモデルに収束しつつあります。動画の事前学習は、モデルに物理的相互作用の法則を暗黙的に教え込み、同じモデルから動作予測、つまりロボット制御を取得できるようにします。

司会者：あなたはMartin Scorseseと協力したのですか？彼の隣に座って、あなたのツールを使わせたのですか？

回答：はい、彼と同じ部屋に座り、彼が私たちのモデルを探求するのを、コア研究者の一人として隣で見守りました。それは本当にクレイジーな体験でした。同時に、私は彼の大ファンでもあります。

彼が求めていたのは、頭の中にあるシーンを可視化することでした。東ヨーロッパのある村について、彼が説明し、私たちが出力を確認し、彼が反復する。最後に彼が言ったのは、「頭の中のイメージを視覚表現に変えるこのコミュニケーション効率は、言語よりもはるかに高い」ということでした。言語はやや損失のあるコミュニケーション手段であり、視覚情報の信号はあまりにも豊かです。一枚の画像や一つの動画に含まれる情報量は膨大で、これは別のコミュニケーションチャンネルなのです。

私たちは、これらのモデルの使い方を規定したくありません。特にMartin Scorseseに対して「こう使うべきだ」とは言いません。AIモデルは一つのメディアです。最も面白いものは、ほぼすべて、人間がループ内で反復を続けるときに生まれます。

映画からロボットへ：生成モデルの終着点はスクリーンではない

司会者：スタートアップは今、Fluxやあなたのモデルを使ってプロモーションビデオを作っています。以前は25万ドルかけてローンチビデオを作っていましたが、今は1〜2週間で完了します。Gal Gadotは最近Bitcoin映画を制作し、俳優はサウンドステージでグリーンスクリーンなしで演技し、すべての背景を生成AIで作りました。3000万ドルの予算で、本来なら1億5000万ドルかかる効果を実現しました。実際の制作現場で使われているのを見ましたか？

回答：いくつか見ました。ハイエンドな映画制作は最も要求の厳しいユースケースの一つです。誰かが探求しているのは嬉しいですが、はっきりさせておきたいのは、技術はまだ軌道に乗っており、急速に進化しているということです。数年前に博士課程で研究していた頃は64×64ピクセルの画像しか生成できませんでしたが、今ではマルチインプットの高解像度動画が可能です。しかし、ここで止まることはありません。

私が最も興奮しているのはこれです：同じマルチモーダルモデルを使って映画を制作し、それをロボットの頭脳として展開できることです。これは非常に興味深いです。コンピューターユースが実際に使えるかどうかはまだ不確かですが、技術は物理世界へと向かっており、ワールドモデルやアクションモデルは、結局は同じものなのです。

司会者：トレーニングデータはどのように入手するのですか？人間にメガネや手袋を装着させて一人称視点で録画するのですか？それともYouTubeで1000人がジュースを注ぐ動画を見るだけで十分ですか？

回答：目標は、インコンテキストプロンプトでロボットに「あのオレンジジュースを持ってきて」と指示することです。今はまだできません。現在のアプローチは、モデルに大量の視覚理解を組み込んでおき、特定のハードウェアに適応させるために数時間のファインチューニングデータだけで済ませることです。方向性としては、ファインチューニングを最小限に抑え、インコンテキスト指示に頼ることですが、これはまだ研究課題です。

司会者：オープンソースが重要な時期であり、企業は主権を求めています。ディズニーのようなIPライブラリを大量に持つ企業は、あなたのオープンソースモデルを使って自社でトレーニングすべきですか？それともあなたと協力して専用モデルを開発すべきですか？

回答：最も興味深いユースケースは、これまで存在しなかったものを生成することにあります。それがこの技術の本質的に最も面白い点です。私たちの公開ツールでは特定のIPを生成できませんが、それは合理的です。また、一部のIP保有者と協力してモデルを開発しており、中には私たちのオープンソースモデルをベースにしたものもあれば、より強力なプロプライエタリモデルをベースにしたものもあります。

最も興味深い角度は、技術がより速く、よりインタラクティブになっていることです。Disney+に、さまざまなインタラクティブコンテンツ作成ツールが搭載されることを想像できます。

司会者：今最も興味深い現象はファンフィルムです。以前はファンフィクションで自分のスター・ウォーズの物語を書いていましたが、後にジェダイの衣装を着てファンフィルムを撮る人も現れました。ジョージ・ルーカスは商業利用でなければ許可すると言っていました。今では人々はAIを使って語られなかったスター・ウォーズの物語を再現しており、Star Wars Stories Untoldの各動画は100万回再生されています。これこそが未来です：消費者にライセンス料を支払わせ、彼らがキャラクターを使って自分たちの物語を創作できるようにすることです。

回答：IP側にとって実行可能なビジネスモデルが見つかり、かつこのような超クリエイティブなカスタムプレイを開放できるのであれば、それは素晴らしいことです。私は本を読んだり映画を観たりするたびに「もしこう展開したらどうなるだろう」と考えていましたが、ついにそれらのアイデアを可視化できるようになりました。

私たちはちょうど100人を超えたところで、現在ドイツとサンフランシスコで人材を募集しています。大規模モデルトレーニングの研究者、diffusionやflow matchingのトレーニング経験者、クライアントと共にカスタムソリューションを開発するエンジニア、大規模計算インフラの運用担当者、そしてテクノロジーをより多くの人々の手に届けることに興味がある方を求めています。