Partnered With:

データセンターを放棄し、新たなAIモデルを構築するスタートアップ企業

この記事を読むのに必要な時間は 11 分

研究者らは、人工知能の現在の主流の構築パラダイムを覆す可能性のある、新しいタイプの大規模言語モデル（LLM）の訓練に成功した。

出典: Wired
著者: Will Knight

研究者らは、世界中に分散した GPU クラスターを使用し、プライベートデータとパブリックデータを組み合わせて、新しいタイプの大規模言語モデル (LLM) のトレーニングに成功しました。これは、人工知能の現在の主流の構築パラダイムを覆す可能性のある画期的な進歩です。

型破りな道を歩む 2 つの AI スタートアップ、Flower AI と Vana が協力して、Collective-1 と呼ばれるこの新しいモデルを作成しました。 Flower AI は、ネットワークに接続された数百台のコンピューターにトレーニングタスクを分散できるテクノロジーを開発しており、そのソリューションは、集中化されたコンピューティング能力やデータを必要とせずに AI モデルをトレーニングするために多くの企業で使用されています。 Vana は、X プラットフォーム、Reddit、Telegram のプライベートメッセージなど、多様なデータソースを提供します。

現代の基準からすると、Collective-1 は小さいです。その 70 億のパラメーター (モデルのパワーを総合的に決定する) は、ChatGPT、Claude、Gemini の基盤となるような、今日の最も高度なモデルの数千億のパラメーターとは大きく異なります。

ケンブリッジ大学のコンピューター科学者であり、Flower AI の共同設立者でもある Nic Lane 氏は、この分散アプローチは Collective-1 の規模の制限を克服する可能性があると指摘しました。同氏は、フラワーAIが従来のデータを使って300億パラメータのモデルをトレーニングしており、今年後半には業界リーダーに近いレベルである1000億パラメータのモデルを開発する予定であることを明らかにした。「これはAIに対する人々の考え方に革命を起こす可能性があり、私たちはそれを推進している」とレーン氏は語った。このスタートアップは、マルチモーダルモデルを作成するために、トレーニングに音声だけでなく画像も取り入れています。

分散モデリングは、AI 業界における力関係を再形成する可能性もあります。

現在、AI 企業はモデルを構築するために、膨大なトレーニングデータとデータセンターに集中している膨大な計算能力という 2 つの柱に依存しています。これらのデータセンターは、超高速光ファイバーネットワークを介して高度な GPU クラスターに接続されています。また、Web ページや書籍コンテンツなど、Web から収集した公開データセット (一部には著作権で保護された素材も含まれています) にも大きく依存しています。

このモデルは、強力な資金力を持つ企業と、大量の高性能チップにアクセスできる国だけが、最も価値のある最先端モデルを開発できることを意味します。 Meta の Llama や Deep Quest の R1 などのオープンソースモデルも、大規模なデータセンターを持つ企業から提供されています。分散型アプローチにより、中小企業や大学は分散型リソースを統合してエコロジカル AI を開発できるようになり、また、従来のインフラストラクチャがない国では複数のデータセンターをネットワーク化することでより強力なモデルを構築できるようになります。

レーン氏は、AI 業界では単一のデータセンターの制限を超える新しいアプローチがますます好まれると考えています。「データセンターモデルと比較すると、分散ソリューションはコンピューティング能力をよりエレガントに拡張できます」と彼は説明した。

セキュリティおよび新興技術センターの AI ガバナンス専門家である Helen Toner 氏は、Flower AI のソリューションは「AI の競争とガバナンスに大きな影響を与える可能性がある」とコメントしました。彼女は、「最先端の技術に追いつくのはまだ難しいかもしれないが、急速に追随する戦略としては非常に価値がある」と指摘した。

分割統治

分散型 AI トレーニングの核心は、コンピューティング能力の割り当てのロジックを再構築することにある。大規模な言語モデルを構築するには、膨大な量のテキストをシステムに入力し、効果的な応答を生成するためにパラメータを調整する必要があります。従来のデータセンターでは、トレーニングタスクを異なる GPU に分割して実行し、定期的にそれらを統合して統一されたマスターモデルにします。

新しいテクノロジーにより、以前は大規模なデータセンターで行われていた作業を、数マイル離れ、通常のネットワークでのみ接続されたハードウェアデバイスに分散できるようになりました。

業界の大手企業も分散学習を検討しています。昨年、Google の研究者は、分散トレーニングの効率を向上させる「Distributed Path Combination」（DiPaCo）と呼ばれる新しいフレームワークを提案しました。 Collective-1のようなモデルを構築するために、レーン氏と中国および英国の学者は共同で、より効率的なデータ表現方法とトレーニング共有統合ソリューションを使用するPhotonと呼ばれる新しいツールを開発しました。レーン氏は、このプロセスは従来のトレーニングよりも遅いものの、より柔軟性があり、ハードウェアアクセラレーションによるトレーニングをいつでも追加できると認めています。

Photon は北京郵電大学と浙江大学の研究者によって開発され、先月オープンソース化されました。 Flower AIのパートナーであるVanaは、ユーザーがAIビルダーと個人データを新しい方法で共有できるように取り組んでいます。同社のソフトウェアでは、ユーザーはXやRedditなどのプラットフォームからプライベートデータを提供したり、使用方法を指定したり、金銭的な報酬を受け取ったりすることができます。

Vana の共同設立者である Anna Kazlauskas 氏は、今回の動きは、ユーザーにさらなる制御権を与えながら、未活用のデータの潜在能力を活用することを目的としている、と述べています。「通常はAIモデルで利用できないこれらの非公開データが初めて基本モデルのトレーニングに使用され、ユーザーは自分のデータで作成されたモデルの権利と利益を所有できる」と彼女は強調した。

ユニバーシティ・カレッジ・ロンドンのコンピューター科学者、ミルコ・ムソレージ氏は、分散トレーニングの重要な価値は新しいタイプのデータの解放にあると指摘し、「これを最先端モデルに適用することで、AI業界は医療や金融などの分野の分散化された機密データをトレーニングに使用しながら、データの集中化のリスクを回避できるようになります。」