CursorがGPUパイプラインを再配置し、MoEモデルのトレーニング速度が41%向上

動察 Beatingのモニタリングによると、CursorはMoE大規模モデル訓練を加速するためのMixture-of-Kittens（MoK）をオープンソース化しました。これは、従来分離されていたGPUデータ転送と計算を、単一のカーネル（GPU上で直接実行される基盤プログラム）に統合します。

MoEはモデルを多数の「エキスパート」に分割し、毎回その一部のみを呼び出します。エキスパートは異なるGPUに分散しているため、データの頻繁な移動が必要で、訓練時間の半分以上を占めることもあります。

MoKはGPUがデータ転送と計算を同時に行えるようにし、待機時間を削減します。512基のGB300 GPUでの実訓練では、全体のスループットが41%向上しました。MoE層を単独でテストした場合、公開されているソリューションと比較して最大2.37倍高速です。

MoKはCursorの数万基のGPUを使用するComposer訓練にすでに採用されており、Apache 2.0ライセンスでオープンソース化されています。現在はNVIDIA Blackwell GPUのみをサポートしており、主にGB200、GB300 NVL72クラスターを保有する機関を対象としています。