動察 Beatingのモニタリングによると、月之暗面(Moonshot AI)がKimi K3の技術レポートを公開した。K3は総パラメータ数2.8兆、各トークンあたり1040億パラメータを活性化し、ベースアーキテクチャはK2から全面的に刷新された。
パラメータの増加はその一部に過ぎない。月之暗面は、新しいアーキテクチャ、データ、トレーニング手法により、K3の全体的なスケーリング効率がK2比で約2.5倍向上したと述べている。そのスケーリング則(Scaling Law)の曲線によれば、同じ検証損失を達成するために必要なトレーニング計算量は、K2の約40%である。
K3はまずアテンション機構を書き換えた。長いシーケンスを処理するためにKDA(Key-Value Decomposed Attention)を採用し、3層ごとにグローバルなMLA(Multi-head Latent Attention)を追加している。KDAは以前のコンテンツを固定サイズの状態に圧縮し、百万トークン規模のコンテキストにおける計算とキャッシュの負荷を軽減する。MLAはグローバルな情報交換を維持する役割を担う。
さらに、アテンション残差(Attention Residuals)も導入された。従来のモデルでは、これまでのすべての層の情報を単純に積み重ねるしかなかったが、K3では各層がより前のネットワークブロックから必要なコンテンツを直接選択できる。モデルが深くなっても、初期の情報が薄まりにくくなる。
MoE(Mixture of Experts)も再設計された。K3は896のルーティングエキスパートを持ち、各トークンあたり16個を活性化する。これはK2の2倍である。ルーティングエキスパートはまず圧縮空間で計算を行い、その後モデルのメインネットワークに戻る。新しい活性化関数と負荷分散アルゴリズムは、超大規模モデルのトレーニングが制御不能になるのを防ぐために用いられている。
エージェント能力を真に引き上げたのは、ポストトレーニングである。月之暗面は、汎用、エージェント、コードの各モデルを個別にトレーニングし、さらに各方向に対して3種類の思考強度を訓練し、最後に9つのエキスパートを統合した。トレーニングタスクは最大で数千回のツール呼び出しを含み、ファイル、アプリケーション、仮想マシンの状態を継続的に保持する。
K3は、複数のコード、検索、ツール呼び出しテストにおいて、Fable 5やGPT-5.6 Solなどのトップクラスのクローズドソースモデルに迫るか、あるいは凌駕する結果を示している。その飛躍は単なるパラメータの積み上げではなく、より大規模なベース、新しいアーキテクチャ、そして百万トークン規模のエージェント強化学習を限界まで押し進めた結果である。