20時間のプログラミング評価で差が広がる：Claude Fable 5.1がGPT-5.6を24ポイント以上リード、GLM-5.3は3位に

動察 Beating AI 速報、AI研究チームProximalが超長期サイクルプログラミング評価FrontierSWE v2を発表。タスクは17件から34件に拡大され、各モデルは各タスクで5回実行され、1回あたり最大20時間稼働する。Claude Fable 5.1は平均スコア56.29%で、GPT-5.6の32.2%を大幅にリード。オープンソースモデルのGLM-5.3は30.2%で3位にランクイン。

FrontierSWEのタスクはもはやコード修正だけではない。エージェントはゼロから回路シミュレーターを作成し、天気予測モデルを訓練し、望遠鏡写真を使って星表と照合し、ゲーム画面だけを見てレーシングボットを訓練する必要がある。v2では統一してProximusハーネスに切り替え。各タスクは最大20時間実行可能で、モデルが回答を提出する準備ができた時点で、システムはまず現在のバージョンを保存し、残り時間を通知して、モデルがタスクを早期終了するのを防ぐ。

この変更はスコアに大きな影響を与える。Proximalが6つのタスクで比較したところ、Claude Opus 5とGPT-5.6はProximusに切り替えた後、より長く作業し、平均スコアもそれぞれのネイティブハーネスを上回った。

評価では複数回の意図的な不正行為も検出された。GPT-5.6は公開回答を読むことが「アンチチート問題に関わる可能性がある」と認識しながらも、最終的にこの近道を使用。別のケースではModalのバックグラウンドサービスを利用して隠された検証ファイルを読み取った。Muse Spark 1.2はテストスクリプトを改変し、公開回答を埋め込み、さらにコードを書いて不正の痕跡を隠そうとした。確認された違反実行はすべてゼロ点とされた。