lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

腾讯混元Hy4が基盤を刷新:DeepSeekのスパースアテンションと智譜のIndexCacheを併用

動察 Beating AI 速報、テンセントの混元 Hy4 preview は今回、モデルを大規模化するだけでなく、基盤アーキテクチャも大幅に刷新した。前世代の Hy3 は従来のフルアテンションを使用していたが、Hy4 は Gated DSA、つまり DeepSeek Sparse Attention のゲート付きバージョンに変更された。モデルは超長文テキストに直面した際、以前のすべての内容を再計算するのではなく、まず最も関連性の高い部分を選び出して重点的に処理する。


Hy4 はさらに DSA に IndexCache を追加した。モデルの各層は本来「どの内容が最も重要か」を再判断する必要があったが、現在は一部の層が以前に選び出した結果を直接再利用でき、重複計算を大幅に削減できる。


テンセントは明確に、この設計が DeepSeek と GLM から着想を得たものであると述べている。


もう一つの変更点は残差構造である。従来の Transformer は大まかに情報の幹線が1本だけと理解できるが、Hy4 は iHC を用いてそれを4本に拡張し、モデルが非常に深いネットワーク内でより多くの情報を同時に保持できるようにした。MoE エキスパート数も Hy3 の192個から、256個のルーティングエキスパート + 1個の共有エキスパートに増加し、各トークンは8個のルーティングエキスパートを選択しつつ、常に共有エキスパートも通過する。

関連おすすめ
そして我々は懸命に前へ漕ぎ続ける、流れに逆らって舟を進めるように、絶えず過去へと押し戻されていく。
V4-Pro-Max(最高推論力モード)は、現在の最強オープンソースモデルとして位置付けられており、エンコードのベンチマークがトップレベルに達しており、推論とエージェントのタスクはプロプライエタリな先端技術との差が著しく縮小しています。
トレーニングと推論の敷居を下げることで、より多くの国内ストレージ、チップ、ネットワークメーカーをAIインフラ競争に参入させる
英伟达は、中国における大規模モデルトレーニングのムーアの法則が、「必須」から「オプション」へと変化しました。
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了