動察 Beatingのモニタリングによると、評価機関のArtificial AnalysisがQwen3.8 Maxを再テストした結果、そのIntelligence Indexを53点から56点に引き上げた。前回のテストではAPIに断続的な異常が見られたため、今回は阿里雲の公式APIを使用して再実行した。新しいスコアはClaude Opus 4.8に追いついたが、Kimi K3よりは依然として1点低い。
千問(Qwen)で最も顕著な進歩が見られたのはAgentタスクだ。GDPval-AAスコアは1739に達し、Kimi K3の1685やGPT-5.6 Solの1730を上回り、Claude Opus 5に僅かに及ばない。端末操作、科学推論、プログラミング評価も全体的に上昇した。
その代償として、より多くのTokenを消費する。Qwen3.8 MaxのToken単価は前世代より低いが、総合評価タスク1件を完了する平均コストは、依然として0.53ドルから1.14ドルに上昇し、Kimi K3の0.86ドルを上回る。主な原因は、Agentタスクでより多くのターンを呼び出し、生成されるコンテンツも多いことにある。
また、その知識の信頼性は後退を見せている。AA-Omniscienceの正確率はほぼ変わらないが、幻覚率は前世代の23%から40%に上昇した。