李飛飛のWorld Labsが新たに発表したワールドモデルは、本当にワールドモデルなのか？

原文タイトル：《李飛飛のWorld Labsが新たに発表したワールドモデル、本当にワールドモデルなのか？》
原文著者：動察Beating

9月1日、李飛飛のWorld LabsがAtlasを発表した。

発表ページには確かに美しい映像がいくつかあった。数台のスマートフォンが三脚やクランプに取り付けられ、3〜5つの角度から同じ現場を捉え、そして時間が止まり、カメラが動き始め、人物の周りを回り込み、実際のカメラが決して立ったことのない位置へ移動する。

バレットタイム、この手法はここ数年珍しくない。違いはAtlasが同時に提供する他の3つの要素にある。

1つ目はdepth。画面内の各ピクセルにカメラからの距離を割り当て、普通の写真が遠近に応じて色分けされた地形図に変わる。

2つ目はpoint cloud。空間に数百万の点を撒き、各点が自身の3次元座標を記憶し、集まるとこの部屋の形状になる。

3つ目は3D Gaussian Splat。三角形のメッシュでモデルを構築するのではなく、色、透明度、向き、太さを持つ多数の小さな光点でシーン全体を積み上げ、どの角度からでも再レンダリングできる。

これら3つの共通点は測定可能であること。カップの直径、テーブルから壁までの距離が、直接数値として読み取れる。生成結果は単に人が見るための映像ではなく、ゲームエンジン、デザインソフトウェア、またはロボットアームの制御コードに送り込める。

World LabsはAtlasを「ワールドシミュレーター」と呼んでいる。

シミュレーターという言葉は軽率に使っていない。3か月前、彼ら自身がどのようなシステムがこの名前にふさわしいかを規定する記事を書いた。

見えるものと触れるもの

その記事は今年6月に公開され、何がワールドモデルかを議論し、市販のシステムを3つのレベル、レンダラー、シミュレーター、プランナーに分類した。

この分類方法の起源は古い。1943年、英国の心理学者Kenneth Craikは、人間が物事の展開を事前に理解できるのは、頭の中に現実世界の縮小版があるからだという見解を示した。この考えは後にサイバネティクス、ニューラルネットワーク、強化学習に受け継がれ、state、observation、actionという3つの言葉になった。

一つのキッチンを例にしよう。

コップがテーブルのどの位置にあるか、テーブルの端から何センチか、テーブルが壁からどれだけ離れているか、ドアが開いているか閉じているか。これらをすべて合わせたものが、このキッチンの現在のstate（状態）だ。

人がドアのところに立っているとき、その状態の一部しか見えない。冷蔵庫に遮られた床の部分は見えないし、コップにどれだけ水が残っているかもわからない。彼の目に入ってくるこの情報がobservation（観測）だ。

彼が歩み寄ってコップを押しのける、これがaction（行動）だ。

state、observation、action。システムがいくつを扱えるかで、それがどのレベルに属するかが決まる。

レンダラーは画面を管理する。人が一歩前に進めば、その歩で見えるべきものを計算し、リアルに描き、前のフレームとつながっていれば仕事は完了だ。コップの高さやテーブルと壁の距離は知る必要がない。なぜなら、それが出力するのは単なる画像だからだ。

シミュレーターは状態を管理する。コップの位置、テーブルの寸法、ドアをどこまで開けると壁にぶつかるか。こうした数値を常に保持し、いつでも呼び出せるようにしておく必要がある。そして、これらの数値を保持しているからこそ、他のプログラムが接続でき、ロボットアームがこのキッチンで手を伸ばせるのだ。

プランナーは動作を管理する。コップがテーブルにあることや、倒したらどうなるかを知っているだけでなく、今手を伸ばすべきかどうか、どれを先に取るか、どの角度からアプローチするのが最も安定しているかを判断する。

この基準に照らすと、Google DeepMind の Genie 3 は最も低いレベルに分類され、単なるレンダラーだ。同じカテゴリーには、World Labs 自身が2025年10月に発表した RTFM も含まれる。

それ以前は、「世界モデル」という言葉はほぼ何でも包み込めた。一文を入力して、その中を歩ける映像を生成するのも世界モデルだ。公式サイトのスローガンを「AIで世界をシミュレートする」に変えるのも世界モデルだ。この記事は初めてそこに線を引いた。映像は映像、世界は世界だと。

この1年間のデモのほとんどは、第一レベルで止まっていた。純粋なテキストからビデオを生成するものと比べれば、確かに大きく前進した。方向キーを押せば、画面がそれに応じて変わる。

しかし、レンダラーが出力するものは、人間が見るには十分でも、機械には使えない。

Atlas が目指すのはシミュレーターのレベルだ。彼らの定義によれば、シミュレーターはこの世界のすべての状態を維持しなければならず、物理もその中に含まれる。

現在公開されているテストは、カメラ条件付き生成と三次元再構成に集中している。複雑な材料、流体、布地といった多物理相互作用はまだ解決されておらず、業界全体がまだ解決できていない。

Atlasの技術的な名称はmultimodal autoregressive diffusion transformerであり、4つの単語に分解してもどれも目新しいものではない。

transformerとautoregressiveは大規模言語モデルの仕組みで、生成済みのコンテンツを見ながら次々と続きを生成する。diffusionは画像や動画生成の仕組みで、画面はそれによって描かれる。multimodalは複数の入力タイプを同時に受け取ることを指す。

新しい点は、multimodalが具体的にテキスト、画像、カメラの位置姿勢、深度マップの4種類を含むことだ。

カメラの位置姿勢とは、その写真を撮影したときにカメラが3次元空間のどこに位置し、どの方向を向いていたかを示すもので、6つの数字で明確に表される。深度マップと組み合わせることで、各写真はもはや孤立した1枚の画像ではなく、撮影位置が記された画像となる。

すべての写真が同じ座標系にマークされ、この座標系がAtlasのshared spatial context、すなわち共有空間コンテキストである。

例えば、リビングの入り口に立ってソファを撮影し、次に窓際に移動してもう1枚撮影する。2枚の写真ではソファの大きさも角度も異なり、半分はテーブルに隠れている。通常のモデルには2枚の異なる画像が見える。人間には同じソファが見える。なぜなら、自分が何歩歩き、何度回転したかを知っているからだ。

Atlasが受け取るのは、まさに「何歩歩き、何度回転したか」というデータである。

このデータにはもう1つの用途があり、World Labsの前世代製品RTFMがすでに試している。その目標は、単一のH100上でリアルタイムに探索し続けられる世界を生成することだ。前に進めば前方を生成し、曲がれば視点もそれに応じて変わる。問題はメモリにある。

仮に誰かがこの仮想の家を30分間探索したとする。この30分間に生成されたすべてのフレームをコンテキストに詰め込めば、モデルは何も忘れないが、コンテキストがどんどん長くなり、計算リソースが先に耐えられなくなる。直近の数十フレームだけを保持すれば計算リソースは節約できるが、寝室を一周してキッチンに戻ったとき、モデルは20分前にテーブルがどこにあったかを覚えておらず、同じキッチンが2つの異なる姿に生成されてしまう。

World LabsがRTFMに採用した方法はposed frames as spatial memoryと呼ばれる。各フレームは画像に加えて、撮影時のカメラの空間上の位置と向きも保存する。モデルが特定の位置に移動すると、システムはすべてのメモリを検索する必要はなく、位置に基づいて近くの数フレームだけを取り出し、今回の生成に必要なコンテキストを組み立てる。

位置情報はここではインデックスの役割を果たしている。キッチンがどんな見た目か知りたければ、キッチン付近で撮影されたフレームを見つけ出せば十分だ。それらがいつ撮影されたかは重要ではない。

人間の記憶も実は同じ仕組みだ。先週の水曜日の午後に何をしたか思い出そうとしても、おそらく思い出せないだろう。しかし、その会議室に入れば、誰が向かい側に座っていたか、ホワイトボードに何が書かれていたかは、すぐに一致する。時間で検索すると最初から数え直さなければならないが、場所で検索すれば一発でたどり着く。

再構築と生成

Atlas のリリースページにはもうひとつの実験がある。まず庭の写真を1枚だけ与え、モデルに上空から見下ろした映像を生成させる。写真には庭しか写っておらず、周囲の様子は撮影されていない。そこで、庭の部分は忠実に再現し、隣の建物はモデルがトレーニングデータで見た常識に基づいて補完する。

2枚目の写真には隣の小屋が写っており、この部分は補完する必要がなくなる。3枚目で建物が現れ、補完すべき箇所はさらに減る。

World Labs のまとめは、「見るものが多ければ多いほど、想像するものが少なくなる」というものだ。彼らが公表したデータによると、2〜3枚の写真で通常、シーンを実用レベルまで再構築でき、1回で最大100枚以上を処理できる。

この実験は、本来は明確に分かれていた2つのことを、同じモデルに統合した。

コンピューター内で3次元シーンを得るには、これまで2つの方法があった。1つは「再構築」と呼ばれ、現場で撮影した写真を使って、実在する場所を元のまま再現する。撮影されていない隅は空のままで、穴を残すことをいとわない。もう1つは「生成」と呼ばれ、モデルがトレーニング時に見た家や芝生に基づいて、かつて存在しなかった場所を作り出す。

Atlas は両方を兼ね備えている。撮影されていない場所はまず常識で補完し、新しい写真が追加されると、その創作部分を本物に置き換える。写真が少なければ多く創作し、写真が多ければ少なく創作する。

私は以前から Funes World というプロジェクトがとても好きだ。彼らはカメラを持って世界中の建築物を撮影している。ポンペイ、トロイ、ケルン大聖堂、天壇祈年殿、そして有名ではない家々も撮影する。ある日改装されてしまい、その後は誰も元の姿を覚えていないような建物だ。彼らは建物の周りを歩き、さまざまな方向から撮影し、写真間に十分な重なりを残し、フォトグラメトリー、NeRF、Gaussian Splatting を使って3次元モデルに組み立てる。公開アーカイブには現在2100以上のモデルがあり、19以上の国をカバーしている。

彼らは、自分たちは現実世界のバックアップを作っており、物理世界の GitHub を作っていると言う。

Funes は純粋な再構築の道を歩んでいる。彼らはブルドーザーの前にシャッターを切り、その家が実際にそうであった姿を捉えようとする。たとえ一部が欠けていても、モデルがそれを補完することは許さない。

Atlas は別の種類のユーザーを相手にしている。キッチンの壁は、位置と寸法が合っていれば、ロボットアームが伸びて衝突した結果は同じであり、壁の模様が撮影されたものか生成されたものかはロボットアームには関係ない。

そこで問題は別の場所に移る。一部が作り物に依存する世界で、現実で作業する機械を訓練できるのかどうか。作り物の家が本物らしいかどうかは、ここではひとまず置いておく。

7月、World Labs はロボット企業 SceniX を買収した。買収後に発表された最初の結果が、まさにこの問いに答えている。

数組のロボットは完全にシミュレーター内で訓練され、実世界のデータは一切使わず、そのまま実機のロボットアームに搭載され、箱詰め、配線巻き、試験管の運搬を行った。そのうち数台は1時間連続で自律稼働し、途中で人の介入はなかった。

さらに注目すべきは、彼らがこのシミュレーターが合格かどうかをどう判断したかだ。

自然に聞こえる基準が一つある。シミュレーター内の成功率が8割なら、実機でも8割であるべきだ。彼らはこの基準を使わなかった。シミュレーター内の壁と実際の壁では摩擦が異なり、部品の重量分布も一致しないため、成功率は必ず差が出る。

彼らは次のように変更した。まずシミュレーター内でいくつかの方案をそれぞれ2000回実行し、性能に基づいて順位を付け、次にこれらの方案を実機に移してそれぞれ100回実行し、そして二つのことだけを比較した。シミュレーター内でA方案がB方案より優れている場合、実機でもそうなるかどうか。シミュレーターが特定の動作がどのステップで最も失敗しやすいと示した場合、実機でもそのステップで失敗するかどうか。

発表されたタスクでは、この二つは一致した。両者の成功率の差がどれだけあるかは気にする必要はない。World Labs 自身の説明によれば、有用なシミュレーターは現実と成功率が一致する必要はなく、現実と同じ意思決定を支持するだけでよい。

この方法は100年以上前に誰かが使っていた。

1901年の秋、ライト兄弟は Lilienthal が発表した翼のデータに基づいてグライダーを製作したが、実際の揚力は予測値の3分の1しかなかった。先人のデータには問題があったが、再測定するには何度も人を空に送る必要があった。そこで彼らは木製の6フィートの風洞を作り、午後には数枚の翼を試せ、一冬で100種類以上を試した。

風洞の中の風とノースカロライナの海風は同じものではないが、どちらの翼が優れているかは比較できる。

世界モデルは宇宙全体を複製する必要はない。意思決定に関わる部分の構造だけを保持すればよい。

失敗の経験

この段階に至って、World Labs のビジネスの輪郭が見えてくる。彼らが2025年に発表した製品 Marble は、すでにテキスト、画像、動画から探索可能な三次元世界を生成できる。World API が開放された後、開発者は直接呼び出すことができ、Atlas はこれらの製品の基盤となるモデルだ。

今年2月の10億ドル調達ラウンドでは、出資企業の顔ぶれは多様だった。NVIDIA は Physical AI を求め、Autodesk は建築、工業デザイン、デジタルツインを求めた。その他にも AMD、Fidelity、Sea が参加した。同じ三次元世界でも、監督はカメラ位置と光を気にし、建築家は構造とスケールを気にし、ロボットは実験できる環境を求める。

ひとつの世界が十分に汎用的であれば、今日互いに分断された複数のソフトウェア産業を横断できる。

自分たちは世界モデルを作っていると言う企業を同じベンチマーク表に詰め込むことは、もはや意味をなさない。

Genie 3 は映像を生成し、Meta の V-JEPA 2 は映像を描かずに動画から直接法則を学び、NVIDIA の Cosmos は視覚推論、世界生成、動作予測を同じモデルに組み込み、Runway は動画生成からシミュレーションへと転身した。同じ言葉を使っていても、解いている問題は同じではない。

分岐点はただひとつ。一派は世界を十分に予測できれば、三次元構造はデータから自然に生まれ出ると信じる。動画にはそもそもこれらの法則が隠されているという立場だ。もう一派はカメラ位置、幾何学、物理的制約を直接モデルに組み込み、世界に初日から構造を持たせる。Atlas がカメラの姿勢と深度をネイティブ入力にしたのは、まさにこのやり方だ。

この道には避けて通れないことがひとつある。訓練データはどこから来るのかということだ。

大規模言語モデルはひとつの贈り物を受け取った。数十年の間、人間はウェブページを書き、コードを書き、フォーラムで議論し、無意識のうちに巨大なコーパスを蓄積してきた。

三次元世界にはこのようなものはない。空間関係が体系的に記録されることはほとんどなく、床板の摩擦係数が自らウェブページに書き込まれることはない。さらに難しいのはインタラクションだ。ロボットがケーブルを差し間違えた場合、現実ではそのケーブルは本当に曲がっている。次の試行の前に、誰かが歩いて行ってそれを直さなければならない。テキストは無限に複製できるが、現実の経験は毎回やり直さなければならない。

だからこそ、これまでのロボットに最も欠けていたのは「失敗」だった。現実でミスをするにはコストがかかりすぎる。シミュレーターが使い物になれば、ロボットはその中で何千回、何万回と試行錯誤し、急速に経験を積むことができる。

李飛飛（フェイフェイ・リー）は、この問題に約20年間向き合ってきた。

2009年、彼女はチームとともにImageNetを構築し、インターネット上に散らばる画像をWordNetの概念体系に基づいて整理し直した。完全なインデックスには1419万枚の画像と2万1841のsynsetが含まれ、後にディープラーニングを爆発的に普及させたILSVRCはそのうちのわずか1000クラスを使用しただけだった。当時のコンピュータビジョンの課題はシンプルで、機械に写真を1枚与え、そこに何があるか、どのカテゴリに属するか、画像内のどの位置にあるかを言わせるものだった。

17年が過ぎ、この課題はもはや問題ではなくなった。先ほどのキッチンにあるカップを、今日のモデルは認識できるだけでなく、これまで存在したことのないカップを100個、ゼロから生成することもできる。

難しくなったのは、このカップが部屋のどこにあるのか、テーブルの裏に回ってから観測しても同じものなのか、誰かがそれを押しのけた後、次に見たときにどこにあり、どんな状態であるべきか、ということだ。物を認識できることと、その物が世界の中でどう存在するかを知ることは、別の話だ。

ImageNetからAtlasまで、意外な連続線がある。人間は、機械が独自の世界を築くまでに、どれだけの世界に関する情報を機械に詰め込まなければならないのか、という問いだ。

1940年、アルゼンチンの作家アドルフォ・ビオイ・カサーレスは小説『モレルの発明』を書いた。

主人公は無人島に逃げ込み、奇妙な人々の集団に出会う。彼らは毎日散歩し、会話し、踊り、すべては正常に見えるが、誰も彼を見ることができない。さらに奇妙なことに、同じ会話が数日後にまったく同じ形で繰り返され、間の取り方まで一致する。

後に彼は、島の科学者モレルが機械を造り、ある人々の島での1週間を完全に記録したことを知る。音声も記録され、映像も記録され、モレルは触覚、匂い、温度までも保存されたと信じていた。機械は潮の満ち引きで駆動し、その1週間は島で繰り返し再生されていた。

モレルは、すべての感覚が同期したとき、魂が現れると信じていた。

80年以上前に書かれたこの機械は、誇張されて荒唐無稽なマルチモーダルモデルにすでに似ている。それは現実の感覚的証拠をすべて保存し、どんな観察者にも本物と見分けがつかない複製を作り出す。

主人公は投影の中の女性フォースティーヌに恋をした。彼は毎日彼女の前に立ち、話しかけ、自分を見てもらおうとした。彼女は一度も応えなかった。なぜなら彼女がいたその一週間は、とっくに録画が終わっていたからだ。機械はその一週間を一万回再生できても、当時起こらなかったことを映し出すことはできない。

World Labs自身の表によれば、モレルが造ったのは完璧なレンダラーだ。

今日のモデルは、ある場所を文句のつけようがないまでに再現できる。難しいのは、誰にも撮影されたことのない出来事——誰かが入ってきて、手を伸ばし、机の上のコップを倒す、その一瞬だ。

モレルの島には何もかもがあったが、ただこの一振りだけが欠けていた。

-****終了-

原文リンク

BlockBeats の公式コミュニティに参加しよう：

Telegram 公式チャンネル：https://t.me/theblockbeats

Telegram 交流グループ：https://t.me/BlockBeats_App

Twitter 公式アカウント：https://twitter.com/BlockBeatsAsia