動察 Beating AI 速報、独立開発者cozyblazeがGPT-6 AstraをValveの3Dパズルゲーム『Portal』に接続した。開始時、彼はただ1つの指示を与えただけだった:自分でエンドクレジットまでプレイし続け、ネットで攻略を調べるのは禁止。Astraは最終的にクリアに成功し、所要時間は約23時間43分、累計消費トークンは約4.35億、API価格換算で約571ドルとなった。
Astraのゲームプレイ方法は人間とは少し異なる。思考中はゲームが一時停止し、現在の画面、キャラクターの位置、視点を確認して、次にどう動くか、どこを見るか、どこにポータルを開くかを決定し、その後ゲームを再開する。途中、OpenAIのサービスに容量問題が発生し、作者が手動でタスクを復旧させ、その後はより高速なFastモードに切り替えた。しかし公開ログによると、開始からエンドクレジット表示まで、作者はゲームに関するヒントを一切与えていない。
ただし、これは厳密なベンチマークではない。『Portal』は公開から約20年が経過しており、ネット上には大量の攻略や動画が存在する。実験でAstraが能動的にネットで攻略を調べることを禁止しても、関連するゲーム知識がトレーニングデータに含まれている可能性は排除できない。本当に興味深いのは、AIがほぼ1日続き、3D環境の継続的な観察と操作を必要とするタスクを最後までやり遂げられるようになったことだ。