lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

ARC-AGI-3 評価機関がルール変更を検討:公式ランキングでメーカー側のメモリ使用を許可する可能性

動察 Beatingのモニタリングによると、ARC-AGI-3評価機関のARC Prizeはこれまで、すべてのモデルに対して同一のシンプルな呼び出し方式を要求し、メーカーがカスタムフレームワークでスコアを水増しするのを防いでいた。これにより、モデル本来の能力をより明確に把握できるようになる。

OpenAIの論争的なテストに応じる中で、公式の見解は緩み始めている。ARC Prizeは、過去の推論を保持し、長すぎるコンテキストを圧縮することで、モデルが長いタスクを処理するパフォーマンスが確かに向上することを認め、こうした機能を正式な評価に組み込む方法の研究を開始した。

ARC-AGIの創設者François Cholletが示した線引きは以下の通り:ARC専用に開発されたフレームワークは依然として不可;すべてのAPIユーザーが利用できる汎用設定は検討可能。彼は、各社がどのような設定を使用し、どれだけのコストをかけたかを公開すべきだと述べている。

メーカー独自のメモリとコンテキスト管理が許可されれば、ARC-AGI-3はモデル同士だけでなく、各社APIの背後にあるエンジニアリング能力も比較することになる。

訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了