動察 Beatingのモニタリングによると、ARC-AGI-3評価機関のARC Prizeはこれまで、すべてのモデルに対して同一のシンプルな呼び出し方式を要求し、メーカーがカスタムフレームワークでスコアを水増しするのを防いでいた。これにより、モデル本来の能力をより明確に把握できるようになる。
OpenAIの論争的なテストに応じる中で、公式の見解は緩み始めている。ARC Prizeは、過去の推論を保持し、長すぎるコンテキストを圧縮することで、モデルが長いタスクを処理するパフォーマンスが確かに向上することを認め、こうした機能を正式な評価に組み込む方法の研究を開始した。
ARC-AGIの創設者François Cholletが示した線引きは以下の通り:ARC専用に開発されたフレームワークは依然として不可;すべてのAPIユーザーが利用できる汎用設定は検討可能。彼は、各社がどのような設定を使用し、どれだけのコストをかけたかを公開すべきだと述べている。
メーカー独自のメモリとコンテキスト管理が許可されれば、ARC-AGI-3はモデル同士だけでなく、各社APIの背後にあるエンジニアリング能力も比較することになる。