ArenaがAutoEvalをローンチ：AIが先に人間の採点をシミュレーションし、新モデルは1時間でスコアが出せる

動察 Beatingのモニタリングによると、大規模モデル競技評価プラットフォームArenaはAutoEvalを発表しました。これは報酬モデル（人間の好みを学習したスコアリングモデル）を使用してユーザー投票をシミュレートし、新モデルのランキングスコアを迅速に生成します。新モデルがリリースされた後、数日間の人間の投票を待つ必要がなく、最短1時間未満で推定ランキングを取得できます。このスコアはAutoEvalと表示され、後で人間の投票結果によって修正されます。

このシステムは、数百万組の実際のユーザー好みデータに基づいてトレーニングされています。評価時、AutoEvalは異なるモデルの回答品質を比較し、Arenaの既存のランキングルールに従ってスコアを計算します。現在、テキスト、ビジョン、画像生成、コードモデルの評価をサポートしています。

Arenaのバックテストによると、AutoEvalとその後の人間のランキングとの相関は0.98を超えています。2つのモデルの実際のスコア差が10ポイントを超える場合、勝敗を判断する正確性は90%を超え、15ポイントを超える場合は100%に達します。ただし、モデル間の差が5ポイント未満の場合、安定して区別することは依然として困難です。