アリババがオープンソース化したLing-3.0-tiny：79億パラメータ、M4Proでローカル実行時90トークン/秒を達成

動察Beatingのモニタリングによると、蚂蚁百灵は正式にLing-3.0-tinyのウェイトを公開し、BF16、FP8、INT4の3つのバージョンを提供しており、Hugging FaceページにはMITライセンスと記載されています。このモデルは合計79億パラメータを持ち、各トークンは13億のみをアクティブ化し、主にローカルデプロイとエージェントシナリオを対象としています。

Ling-3.0-tinyには128のルーティングエキスパートがあり、各トークンはそのうち8つを選択し、さらに全トークンが使用する共有エキスパートが1つ追加されます。アテンション部分は3:1のKDAとMLAのハイブリッドアーキテクチャを採用しており、つまり3層のKimi Delta Attentionごとに1層のMLAが続きます。

公式によると、FP8版はM4 Pro MacBook上で約86〜90トークン/秒、DGX Spark上では約100〜105トークン/秒を達成できます。