70人以上のユーザーが家庭用GPUを使用して720億パラメータの大規模モデルを分散トレーニングしました。Huang Renxun: 「オープンソースとクローズドソースは「AまたはB」ではなく、「AおよびB」です。

分散された AI ネットワーク Bittensor の Subnet 3（Templar）は、最近、これまでに行われた最大規模の分散型大規模モデルプレトレーニングである Covenant-72B（パラメータ数 720 億、トレーニングデータ約 1.1 兆トークン） を完了しました。このプロジェクトには、70 人を超えるコントリビューターが一般消費者レベルのハードウェアを使用してネットワーク全体で協力し、中央集権化された計算リソースインフラを必要とせずに、これまでに行われたベンチマークテストで LLaMA-2-70B に匹敵する結果を達成しました。

この成果は、All-In ポッドキャストのインタビューで取り上げられた後、NVIDIA の CEO ジェンスン・フェインマン氏は、オープンソースとクローズドソースの関係に明確な声明を行いました。「これは A か B かではなく、A に B を加えたものです。そのことは疑いようがありません。」と述べ、一般的なモデル（ChatGPT、Claude、Geminiなど）はほとんどのユーザーに適しており、「業界固有の領域知識は、オープンソースモデルを使用してパッケージ化および制御することしかできず、これがオープンソースの根本的な価値である」と指摘しました。また、現在 NVIDIA が投資している各スタートアップ企業は、「まずオープンソースモデルを採用し、段階的にクローズドソースモデルに移行する」ことを優先していることを明らかにしました。