lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

Kimi K3がなぜFable 5に迫ることができるのか?月の暗面が同時にアテンション、残差、MoEを書き換える。

動察 Beatingのモニタリングによると、月之暗面(Moonshot AI)がKimi K3の技術レポートを公開した。K3は総パラメータ数2.8兆、各トークンあたり1040億パラメータを活性化し、ベースアーキテクチャはK2から全面的に刷新された。

パラメータの増加はその一部に過ぎない。月之暗面は、新しいアーキテクチャ、データ、トレーニング手法により、K3の全体的なスケーリング効率がK2比で約2.5倍向上したと述べている。そのスケーリング則(Scaling Law)の曲線によれば、同じ検証損失を達成するために必要なトレーニング計算量は、K2の約40%である。

K3はまずアテンション機構を書き換えた。長いシーケンスを処理するためにKDA(Key-Value Decomposed Attention)を採用し、3層ごとにグローバルなMLA(Multi-head Latent Attention)を追加している。KDAは以前のコンテンツを固定サイズの状態に圧縮し、百万トークン規模のコンテキストにおける計算とキャッシュの負荷を軽減する。MLAはグローバルな情報交換を維持する役割を担う。

さらに、アテンション残差(Attention Residuals)も導入された。従来のモデルでは、これまでのすべての層の情報を単純に積み重ねるしかなかったが、K3では各層がより前のネットワークブロックから必要なコンテンツを直接選択できる。モデルが深くなっても、初期の情報が薄まりにくくなる。

MoE(Mixture of Experts)も再設計された。K3は896のルーティングエキスパートを持ち、各トークンあたり16個を活性化する。これはK2の2倍である。ルーティングエキスパートはまず圧縮空間で計算を行い、その後モデルのメインネットワークに戻る。新しい活性化関数と負荷分散アルゴリズムは、超大規模モデルのトレーニングが制御不能になるのを防ぐために用いられている。

エージェント能力を真に引き上げたのは、ポストトレーニングである。月之暗面は、汎用、エージェント、コードの各モデルを個別にトレーニングし、さらに各方向に対して3種類の思考強度を訓練し、最後に9つのエキスパートを統合した。トレーニングタスクは最大で数千回のツール呼び出しを含み、ファイル、アプリケーション、仮想マシンの状態を継続的に保持する。

K3は、複数のコード、検索、ツール呼び出しテストにおいて、Fable 5やGPT-5.6 Solなどのトップクラスのクローズドソースモデルに迫るか、あるいは凌駕する結果を示している。その飛躍は単なるパラメータの積み上げではなく、より大規模なベース、新しいアーキテクチャ、そして百万トークン規模のエージェント強化学習を限界まで押し進めた結果である。

関連おすすめ
シティグループとバンク・オブ・アメリカ証券は、Kimi K3が推論コストを削減する一方で、「ジェヴォンズのパラドックス」を通じて、より多くの呼び出し、長いコンテキスト、エージェントタスクを刺激し、GPU、HBM、DDR5、eSSD、ネットワークインフラの需要を押し上げる可能性があると見ている。
外国人が「ソ連の人工衛星が打ち上げられた日よりも衝撃的だ」と言っている。
Anthropicは一般ユーザー向けにMythos級モデルFable 5を開放し、権限レベルで高リスク能力を制限する。
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了