動察 Beating のモニタリングによると、Baseten 研究チームは KV キャッシュ圧縮手法「Still」を発表しました。この手法は、ベースモデルのパラメータを固定し、軽量な Perceiver 圧縮器のみを訓練することで、単一の順伝播で KV キャッシュを圧縮し、最大 200 倍の圧縮を実現します。オンライン最適化や勾配更新は不要です。
既存の KV 圧縮手法は大きく 2 つに分類されます。1 つは SnapKV や H2O のように、元のトークンから重要なキャッシュを選別する方法です。もう 1 つは、新しい圧縮キャッシュを直接生成する方法ですが、多くの場合、各コンテキストに対してオンライン最適化が必要です。Still は償却合成(Amortized Synthesis)のアプローチを採用し、Transformer の各層にベースモデルの約 1% のパラメータ規模を持つ Perceiver 圧縮器を追加し、暗黙的なクエリを用いて完全な KV キャッシュに対して交差注意を実行し、新しい圧縮 KV キャッシュを直接生成します。
Qwen および Gemma モデルのテストでは、Still は 8k から 64k のコンテキスト、8 倍から 200 倍の圧縮率の範囲で高い精度を維持しました。長コンテキストベンチマーク RULER では、Still はほとんどの設定で SnapKV、H2O、KV-Distill などの手法を上回り、matched-training タスクでは KV-Distill を約 8 から 22 パーセントポイントリードしました。HELMET マルチドキュメント要約テストでは、圧縮後のキャッシュでも全コンテキストのパフォーマンス向上の 74% から 95% を回復できました。
元のトークンを保持したりオンライン最適化に依存する手法と比較して、Still は KV 圧縮を単一の順推論で完了できる学習プロセスに変換し、超長コンテキスト推論のための新たなキャッシュ圧縮経路を提供します。