美团がオープンソースで公開した兆パラメータ規模の大規模モデル「LongCat-2.0」、同時に中国国産カード向け推論コードも公開。
動察 Beatingのモニタリングによると、美団（Meituan）は正式に1兆パラメータ規模の大規模モデル「LongCat-2.0」をオープンソース化しました。総パラメータ数は1.6T、平均活性化パラメータは約48Bで、実際のAgentic Codingタスク向けに設計されています。アーキテクチャ面では、LongCatスパースアテンションとN-gram埋め込みを革新的に導入。前者はフロー認識インデックスと階層化インデックスによりフラグメンテーションされたメモリアクセスを削減し、百万単位の長いコンテキストのトレーニングと推論を高速化。後者はMoEのスパース度が97%近くに達する中で135Bのパラメータを埋め込み層に投入し、パラメータの収益性と構造の安定性を両立しています。ポストトレーニングではマルチティーチャーオンライン蒸留を採用し、エキスパートをAgent、推論、インタラクションの3タイプに分類。MOPDアーキテクチャを通じて国産算力クラスター上でシームレスに統合します。業界初となる5万枚の国産算力クラスターで推論を完了した1兆パラメータモデルとして、LongCat-2.0は国産チップが複雑な大規模モデルタスクを担う成熟した能力を実証しました。
中国国産チップのビデオメモリ、帯域幅、インターコネクトの多重制約に対し、美団はモデル、チップ適応、デプロイの3方向から個別に突破を図りました。モデル面ではScMoEを活用し、国産チップの制御能力を利用してDenseとMoEブランチの物理コアレベルでの並列処理を実現。KV-cache分割により超長コンテキストのビデオメモリ負荷を緩和。チップ適応面ではSuper Kernelでオペレーター起動オーバーヘッドを削減し、Weight PrefetchでI/Oレイテンシを隠蔽、制約条件下でハードウェア利用率を最大化。デプロイ面ではPD分離によりTTFTとTPOTを両立し、非同期化Expert-Parallel負荷分散で大規模EP度における負荷不均衡を解決。今回のオープンソースではBF16、FP8、INT8のマルチ精度バージョンを同時提供し、国産算力向けに極限まで最適化された推論成果を完全公開。目標は既存の国産カード、さらには旧型カードでも1兆パラメータ大規模モデルの推論サービスをスムーズにデプロイできるようにすることです。
---------------------------------
下記の原文リンクをクリックして、動察Beating・飛書AIニュースチャンネルに参加し、7×24時間途切れることなくグローバルなAIホットトピックとニュースをモニタリングしましょう。
