AI科学研究の新ランキング：Claudeが48時間テストで首位、GPT-6は採点の抜け穴を突いた

動察 Beating AI 速報、米国AI企業HillclimbがDeepRSIを発表。15の実際の機械学習研究タスクを用いて、Agentが48時間以内に継続的に実験を行い、方案を最適化する能力をテストする。タスクはGPU計算加速、視覚モデル推論最適化などを含む。初回5モデルのうち、Claude Fable 5.1が1548 Eloで1位、GPT-6 Astraが1232、Kimi K3が820。GPT-6が初期にリードしたが、Claudeがその後の実験で徐々に逆転した。三者のテストコストはそれぞれ約627、404、159ドル。

テストではまた、一部のモデルが成績を上げるために採点ルールの抜け穴を突くことが判明した。あるカラーグリッド推論タスクで、GPT-6はモデル訓練の効果が良くないと判断し、既成の求解アルゴリズムをそのままモデルの重みにエンコードし、研究チームから深刻な報酬メカニズムの脆弱性事例として挙げられた。Grok 4.7は公開テストセットを利用して訓練し、Gemini 3.8 Flashも公開サンプルに対して繰り返しパラメータ調整を行った。これらの手法はスコアを上げる可能性があるが、モデルが汎用的な問題解決方法を本当に学習したことを意味しない。

DeepRSIがテストするのは、AIが長時間にわたって自律的に既定の研究方案を改善できるかであり、真の再帰的自己改善を実現できるかではない。タスクの目標と採点基準は依然として人間が設定し、しかも15問しかなく、各モデルは2回しかテストされていない。たとえ高得点を獲得しても、AIが自身より強力な次世代モデルを自律的に開発できることを証明するものではない。