MiniMax M3.1 Flashがランキング操作の疑いで物議：既存問題では満点近く、新規問題ではほぼ零点

動察 Beating AI 速報、大規模モデル評価ブロガーの「猫老板」が MiniMax M3.1 Flash をテストした際、モデルは古い問題ではほぼ満点に近いが、新しい問題に変えるとほぼゼロ点になることを発見した。モデルは平均して1問あたり数万Tokenを消費するが、一部の難問は約1万Tokenだけで正解できる。この異常な挙動から、モデルが一部の問題の答えを事前に記憶しているのではないかと疑われている。

猫老板は長期間「致知」大規模モデルランキングを維持しており、非公開の私設問題バンクを使用し、主に論理、数学、プログラミング能力をテストしている。問題バンクは通常28問、270テストケース以内で維持され、毎月一部の問題を更新し、各問題を3回テストして最高成績と中央値成績を同時に集計する。今回 M3.1 Flash の中央値スコアは51.76に達し、前世代 M3 の23.86から倍以上に向上し、最新の DeepSeek V4.1 Flash 1017 の56.03に近づいている。

一部の開発者は、モデルが古い問題に対して特別に訓練された可能性があり、実際に解法を習得していないのではないかと疑っている。評価スコアを高めるためにモデルを特別に最適化するこの手法は、Benchmaxxing と呼ばれている。