動察 Beating AI 速報、英国のAI研究機関Prefrontalとスイス連邦工科大学チューリッヒ校の研究者らが、超長文コンテキスト向けの疎なアテンション技術「Latent Sparse Attention(LSA)」をオープンソース化した。
DeepSeek、MiniMax、智譜などのモデルはすでに疎なアテンションを採用しており、毎回少数の重要なTokenのみを処理することで計算量を削減している。しかし、これらのTokenを見つけるために、多くの既存手法では依然として軽量なインデクサーで全履歴情報を走査し、一つずつスコアリングする必要がある。研究者らは1000万TokenのGLM-5.3-Flash実験において、単層の疎なアテンションのプリフィル時間のうち98%が情報の選別に費やされていることを発見した。
LSAはまず内容の類似度に基づいて、異なる位置のTokenをグループにクラスタリングし、次にインデクサーにこれらのグループをスコアリングさせ、そこから関連するTokenを選び出す。これにより、本来一つずつ検査する必要があったTokenを、まずグループ単位で絞り込むことができる。チームはさらに多段階インデックスの構築も試み、モデルが段階的に検索範囲を狭め、毎回すべてのグループを走査する必要をなくした。
研究者らはLSAをGLM-5.3-FlashとQwen-3.8-27Bに組み込み、元のモデルの重みは保持し、少数のインデックスパラメータのみを追加学習した。NVIDIA H200上で、GLMの単層プリフィルは元の疎なアテンションより22.7倍高速になり、モデル全体の初回Token遅延は約55%低減した。Qwenは元の全アテンションと比較して単層プリフィルが72.4倍高速になり、モデル全体の初回Token遅延は約89%低減した。
ただし、最高の高速化成績は依然として全グループを走査する必要があるバージョンによるものである。検索量をさらに削減できる多段階インデックスは、GLMの1000万Tokenテストにおいて明らかな精度低下が生じた。
精度を維持しつつ、検索が全履歴を走査する必要をなくすことができれば、AIは数千万Tokenのコード、文献、長期Agentの実行記録をより効率的に処理できる可能性がある。現在LSAは意味論に基づくグループ化の高速化効果を実証しているが、多段階検索にはさらなる改善が必要である。