lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

疎な注意力はさらにどうやって高速化できるのか?LSAによってGLMは千万トークンで単層が22.7倍速くなる

動察 Beating AI 速報、英国のAI研究機関Prefrontalとスイス連邦工科大学チューリッヒ校の研究者らが、超長文コンテキスト向けの疎なアテンション技術「Latent Sparse Attention(LSA)」をオープンソース化した。


DeepSeek、MiniMax、智譜などのモデルはすでに疎なアテンションを採用しており、毎回少数の重要なTokenのみを処理することで計算量を削減している。しかし、これらのTokenを見つけるために、多くの既存手法では依然として軽量なインデクサーで全履歴情報を走査し、一つずつスコアリングする必要がある。研究者らは1000万TokenのGLM-5.3-Flash実験において、単層の疎なアテンションのプリフィル時間のうち98%が情報の選別に費やされていることを発見した。


LSAはまず内容の類似度に基づいて、異なる位置のTokenをグループにクラスタリングし、次にインデクサーにこれらのグループをスコアリングさせ、そこから関連するTokenを選び出す。これにより、本来一つずつ検査する必要があったTokenを、まずグループ単位で絞り込むことができる。チームはさらに多段階インデックスの構築も試み、モデルが段階的に検索範囲を狭め、毎回すべてのグループを走査する必要をなくした。


研究者らはLSAをGLM-5.3-FlashとQwen-3.8-27Bに組み込み、元のモデルの重みは保持し、少数のインデックスパラメータのみを追加学習した。NVIDIA H200上で、GLMの単層プリフィルは元の疎なアテンションより22.7倍高速になり、モデル全体の初回Token遅延は約55%低減した。Qwenは元の全アテンションと比較して単層プリフィルが72.4倍高速になり、モデル全体の初回Token遅延は約89%低減した。


ただし、最高の高速化成績は依然として全グループを走査する必要があるバージョンによるものである。検索量をさらに削減できる多段階インデックスは、GLMの1000万Tokenテストにおいて明らかな精度低下が生じた。


精度を維持しつつ、検索が全履歴を走査する必要をなくすことができれば、AIは数千万Tokenのコード、文献、長期Agentの実行記録をより効率的に処理できる可能性がある。現在LSAは意味論に基づくグループ化の高速化効果を実証しているが、多段階検索にはさらなる改善が必要である。

举报 訂正/通報
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了