lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

## 兆パラメータ規模の大規模モデル強化学習のハードルを突破:オープンソース「prime-rl」が28台のサーバーで131kコンテキストを訓練可能に

動察 Beating のモニタリングによると、Prime Intellect は分散型強化学習トレーニングフレームワーク prime-rl 0.6.0 をリリースし、超長文コンテキストのエージェントタスクにおける、1兆パラメータの混合専門家モデル MoE の強化学習 RL トレーニングのハードルを突破しました。

大規模モデルが256kの超長文を読み切ることは珍しくありませんが、強化学習トレーニングでは、モデルが自律的な試行錯誤を通じて推論演習を行うために、GPUは131kの長さにわたる膨大な中間活性化値を常時保存する必要があり、メモリ消費は数百倍から数千倍に急増します。これまでは数千枚のGPUからなる大規模クラスターが必要でしたが、prime-rl 0.6.0 はわずか28台のH200サーバーでGLM-5の131kコンテキスト強化学習トレーニングを実行し、1ステップあたりの処理時間を5分以内に抑えました。

複雑なコード生成などの試行錯誤タスクにおいて、ごく一部の長時間テールタスクがグローバルなステップをブロックし、GPUリソースが長期にわたってアイドル状態になる問題を解決するため、フレームワークは従来の同期待機メカニズムを打破し、完全に分離された非同期RLアーキテクチャを採用しました。バックグラウンドのトレーナーは新しい重みを計算した後、進行中の試行錯誤タスクの終了を待たずに、モデルがテキストを生成している最中にリアルタイムで更新を配信します。すでに配信されたタスクは速度を維持するために古いポリシーを継続して使用し、新しいタスクにはKV-cacheソルトを注入して強制的にキャッシュを再構築します。非同期更新におけるトレーニングと推論のステップの不一致がモデルの論理混乱を引き起こしやすい問題に対して、フレームワークはルーティングリプレイR3技術を導入し、基盤レベルで専門家のデータ配信を直接処理することで、データ変換によるシステム遅延を回避し、両端の不一致度を10分の1に低減し、非同期トレーニングを大幅に安定化させました。

基盤リソースの圧搾において、フレームワークは精巧な設計により、長文テキストによるGPUメモリのオーバーフローという痛点を完全に解決しました。推論側では読み取りと書き込みの計算を分離したアーキテクチャを採用し、大規模モデルが大量の前文ヒントを読み込むことで後続のテキスト生成が停止するのを防止します。同時に複数のGPUを連携して専門家知識を共有し、Mooncake技術を利用して複数サーバーのアイドルメモリとハードディスクを統合共有キャッシュプールとして構成します。超長文テキストの並列計算において、GLM-5独自のDSAスパースアテンションメカニズムに対応するため、フレームワークは専用の並列スキームをカスタマイズし、モデルが全体を俯瞰できることを確保しつつ、各層のGPU間のデータ通信オーバーヘッドを1回のみに削減しました。トレーニング側ではDeepGEMMと組み合わせてDeepSeek V3が提案したブロックスケーリングFP8トレーニングを実現し、トレーニングと推論側で同じ精度と計算カーネルを使用することで、精度のずれによるトレーニングクラッシュを根本的に排除しました。

訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了