Metaの最高AI責任者であるAlexandr Wang氏は、SemiAnalysisの「ベンチマーク操作論」を否定し、古いテストはすでに飽和状態にあると述べた。

動察 Beating AI 速報、AI 研究機関 SemiAnalysis が Gemini 3.8 Flash と Muse Spark 1.3 を名指しし、これらが現在最も顕著な「benchmaxxed」モデルの一つ、つまり公開ベンチマークに過度に最適化されていると指摘。両モデルは Terminal-Bench 2.1 でそれぞれ 89.4% と 88.8% を獲得し、GPT-6 Astra や Claude Fable 5.1 に迫る水準。しかし、先頃発表されたばかりの Terminal-Bench 4.0 では、それぞれ 19.1% と 33.3% にまで低下。Astra と Fable 5.1 はそれぞれ 57.7% と 55.8% を維持している。

SemiAnalysis は、公開テストがますますターゲット最適化されやすくなっていることが問題だと疑念を表明。Terminal-Bench 2.1 のタスクはすべて公開されており、モデルメーカーがテスト問題を直接学習に使わなくても、これらのタスクと高度に類似した強化学習環境データを購入することが可能。その結果、モデルはこの試験にますます習熟する一方で、新しいタスクへの汎化は必ずしも進んでいない。ただし、SemiAnalysis は Google や Meta がこうしたデータを購入した直接的な証拠は提示していない。

Meta の最高 AI 責任者 Alexandr Wang はその後反論し、この主張は「愚かだ」と述べた。彼は例として、GPT-5.6 Sol も Terminal-Bench 2.1 の 88.8% から 4.0 では 37.3% に低下したことを挙げる。彼の説明では、2.1 はすでに飽和状態に達しており、トップモデルを効果的に区別できなくなっている一方、4.0 はまだ飽和には程遠い。実際、Terminal-Bench 4.0 では、飽和状態にある、公開解法が存在する、またはその他の問題がある 8 問が削除され、19 問が修正され、時間、CPU、メモリなどのリソース制限も再調整された。