AAスマート指数が大幅に問題を刷新：Claudeが首位、DeepSeekとGLMは26点差で後れ

動察 Beating AI速報、AI評価機関Artificial AnalysisがIntelligence Indexランキングを大幅に改訂した。新バージョンでは、実在するオープンソースプロジェクトのコーディングタスク132問を追加し、AIが書いたコードはテストに合格するだけでなく、プロジェクトのメンテナーがマージしたくなる水準に達することが求められる。さらに科学研究タスク70問を新設し、AIがターミナル内で実際に研究プロセスを完遂することを要求する。モデルが事前に問題を見ている影響を減らすため、新バージョンでは評価ウェイトの60%がプライベートテストセットまたは非公開の解答に基づいている。

ランキング上位は依然としてAnthropicとOpenAIの独壇場だ。Claude Opus 5.5が58点で首位、GPT-6 AstraとGPT-6.1 Solがそれぞれ57点、55点を獲得した。Kimi K3.1 Proは46点だが、まだ重みはオープンソース化されていない。

すでに重みをオープンソース化したDeepSeek V4.1 FlashとGLM-5.3はいずれも32点にとどまり、首位にまるまる26点差をつけられ、Claude Haiku 5.5の36点にも及ばない。

新設された科学研究タスクでは、GPT-6 Astraの完了率が63%、Kimi K3.1 Proが34%、DeepSeek V4.1 Flashはわずか13%だった。

GPT-6.1 SolはClaude Opus 5.5より3点低いものの、公開API価格で試算すると、総合評価タスク1問あたり平均わずか1.27ドルで済み、後者は10.04ドルと約8倍の差がある。

新バージョンの問題は全体としてより多くのTokenを消費するようになり、1タスクあたりの出力Tokenの中央値は旧版の3.5万から5.9万に増加した。