動察 Beating のモニタリングによると、有名な半導体分析機関 SemiAnalysis は、Meta が現在同時に5つの出力1GWを超える大規模AIクラスターを建設していると述べています。その試算によれば、Meta の総計算能力は今年末までに OpenAI と Anthropic を超える可能性があります。
その中で、ルイジアナ州の Hyperion では約1GWの施設が建設中で、将来的には5GWまで拡張可能です。オハイオ州の Prometheus は一部稼働済みで、計画規模は3GWを超えています。
Prometheus は6つのキャンパス、27のデータセンターで構成されています。Meta は高速ネットワークでこれらを1つのクラスターに接続し、今後は2000キロ以上離れたキャンパスも接続する計画です。
長距離ネットワークの遅延が大きいため、Meta は事前学習を単一地域で行い、強化学習タスクを異なるキャンパスに分散して実行します。
また、Meta は約3000人のチームを編成し、強化学習タスクとトレーニング環境の作成に特化しています。同社は以前、一部の従業員の画面、キーボード、マウスの操作を記録し、実際のワークフローでAIエージェントを訓練し始めましたが、プライバシーとデータ管理の問題により関連計画は一時中断されました。
SemiAnalysis は、Meta が人材、データ、計算能力の3つのリソースを既に補完しており、OpenAI と Anthropic に追いつく最大のチャンスがあると判断しています。しかし、Muse Spark は依然として第一線には入っておらず、巨額の投資がリーディングモデルに転換できるかはまだ検証されていません。