動察 Beating AI 速報、テンセントの混元 Hy4 preview は今回、モデルを大規模化するだけでなく、基盤アーキテクチャも大幅に刷新した。前世代の Hy3 は従来のフルアテンションを使用していたが、Hy4 は Gated DSA、つまり DeepSeek Sparse Attention のゲート付きバージョンに変更された。モデルは超長文テキストに直面した際、以前のすべての内容を再計算するのではなく、まず最も関連性の高い部分を選び出して重点的に処理する。
Hy4 はさらに DSA に IndexCache を追加した。モデルの各層は本来「どの内容が最も重要か」を再判断する必要があったが、現在は一部の層が以前に選び出した結果を直接再利用でき、重複計算を大幅に削減できる。
テンセントは明確に、この設計が DeepSeek と GLM から着想を得たものであると述べている。
もう一つの変更点は残差構造である。従来の Transformer は大まかに情報の幹線が1本だけと理解できるが、Hy4 は iHC を用いてそれを4本に拡張し、モデルが非常に深いネットワーク内でより多くの情報を同時に保持できるようにした。MoE エキスパート数も Hy3 の192個から、256個のルーティングエキスパート + 1個の共有エキスパートに増加し、各トークンは8個のルーティングエキスパートを選択しつつ、常に共有エキスパートも通過する。