動察 Beating AI 速報、Yann LeCun が設立した AMI Labs がブラウン大学の研究者らと共同で新論文「Counterfactual World Models」を発表し、JEPA 世界モデルが一度の行動の実際の結果に基づいて、もしその時別の動作を選んでいたら失敗を回避できたかどうかを推測できるようにした。この能力は「反事実推論」と呼ばれる。
例えば、ロボットが荷物を指定された位置に届けようとしたが、突風で押し流されてしまった。自分が方向を選び間違えたのか、それとも風が強すぎてタスクが失敗したのかをどう判断するのか。通常の世界モデルは異なる動作が一般的にどのような結果をもたらすかを予測できるが、今回の風がどれほどの影響を与えたかは分からない。
新手法は、実際の結果と当初の予測との偏差を利用して、今回の外部干扰の影響を見積もり、さらにその時別の動作を選んでいたら結果がどう変わったかを推測する。プロセス全体で既存の予測器を2回呼び出すだけで済み、反事実モデルを追加訓練する必要はない。これによりロボットは事後に、別の動作なら目標を達成できた可能性があるかどうかを判断できる。
4つの物理シミュレーション環境において、チームは、モデルが事後に目標を達成できたはずの動作を見つけ出した割合が35%〜69%に達したと報告した。対照手法はわずか14%〜23%だった。対照手法がシミュレーション環境の真の物理法則を知っていても、今回実際に発生した干扰を知らなければ、性能は依然として劣っていた。
ただし、この手法は動作と外部干扰の影響が概ね重ね合わせ可能であることを前提としている。衝突が発生した場合や、モーター故障により異なる指令が受ける影響が異なる場合には、予測が不正確になる可能性がある。現在の研究は依然としてシミュレーション環境に限られており、実機ロボットの実際の制御効果はまだ検証されていない。