AIエージェント科学タスク実測：最強でも完全完了はわずか20.6%

動察 Beating AI 速報、陳天橋氏率いる新AIプロジェクトApodexが科学エージェント評価「FrontierChallenge」を発表。97の実科学ワークフローを用いて、AIがタスクを最初から最後まで完遂できるかをテストする。12の最先端モデルが参加し、最高スコアはわずか20.6%だった。GPT-5.6 Sol + CodexとGrok 4.6 + Claude Codeが同率首位で、それぞれ20項目を完全達成した。

テストでは、エージェントが未完了にもかかわらず完了と報告するケースが頻発した。Claude Codeをエージェントフレームワークとして使用した10組のモデルテストでは、849回の失敗タスクのうち75.5%が最終的に完了と主張した。一方、全参加システムの電気化学および環境科学タスクにおける平均スコアは94.9に達したが、完全達成したものはなかった。

この評価は「大部分が正しい」と「真の納品完了」を明確に区別している。ランキングはモデル単体ではなく、モデル＋エージェント実行フレームワークを比較している。

公式は同時に、各システムは各問題につき1回のみ実行されるため、僅差のスコア差を安定したモデルランキングとして直接解釈すべきではないと注意を促している。