Runwayはインターネット動画でロボットを訓練し、その効果はほぼ専門データに匹敵する

動察 Beating AI 速報、Runway がロボットモデル Praxis-1 を発表し、AI 動画モデルを訓練する能力を実機ロボットに応用した。まず大量の一般動画から物体の動き方や人間のタスク遂行方法を学習し、その経験をロボットの動作に変換する。

Runway は物体配置テストを実施し、インターネット動画で事前学習した場合、ロボットの平均誤差は 16.1 センチだった。専用に収集したロボット遠隔操作動画に切り替えると、誤差は 16.0 センチだった。テストは計 93 組の評価を行い、2 つの訓練方法の結果はほぼ互角だった。

この路線がさらに拡大できれば、ロボット訓練に最も不足しているデータが一気に数桁増える可能性がある。人間が遠隔操作でロボットを動かしてデータを収集するには、設備、場所、人手が必要だ。一般動画はすでにインターネット上に溢れている。Runway が目指すのは、本来ロボットを直接制御できないこれらの動画を、ロボットが動作を学習するための訓練素材に変えることだ。

Praxis-1 はすでに Noble Machines、Standard Bots、Ultra の多種ロボットでテスト済みで、ロボットアーム、双腕ロボット、移動ロボットを含む。Runway はまた、同じポリシーをスタジオからキッチンに移してタスクを継続実行する様子も披露した。モデルは現在早期テスト申請のみ受け付けており、重みは今後数か月以内に公開予定だが、パラメータ数とより完全な独立評価はまだ公表されていない。