テザーが1914億トークンのSTEMデータセットを公開、ローカル小型モデルの「説明能力」に賭ける

BlockBeatsのニュースによると、9月23日、ステーブルコイン大手Tether傘下のTether AI Researchは本日、QVAC Genesis IIIを発表した。これは科学、技術、工学、数学分野向けの合成トレーニングデータセットであり、規模は1914.3億トークン、1億5960万件の文書をカバーしている。

関係者によると、Tetherはこれにより小型AIモデルの推論と教育能力を向上させ、より多くのAIアシスタントがノートパソコン、スマートフォン、ローカルサーバー上で直接動作できるようにし、大規模クラウドモデルへの継続的な依存を減らすことを目指している。

Genesis IIIはGenesis IとGenesis IIのデータ路線を継承し、内容は生物学、化学、物理学、数学、コンピュータサイエンス、医学、電気工学、機械学習など19のカリキュラム体系関連分野をカバーし、高校、大学、専門レベルの応用に対応している。Tetherによると、このデータセットは最終的な答えだけを出力するのではなく、モデルが解答経路を説明し、誤った推論を識別して修正を提示することを重点的に訓練するという。

Tetherが開示したテスト結果によると、Genesis IIIのオプションレベルのデータで訓練された17億パラメータモデルは、関連ベンチマークテストで有効回答率99.45%に達した。同規模のトークン数を持つCosmopedia-v2で訓練されたモデルと比較して、Genesis IIIはARC-Easy、ARC-Challenge、MMLU STEMベンチマークでそれぞれ28.57、21.35、15.03ポイント向上した。