アリUBTreeが投機的デコーディングを改善：ドラフトツリーを並列選別し、大規模モデルが一度により多くのTokenを検証可能に

動察 Beating AI 速報、アリババの百霊が大規模モデル向け投機的デコーディング手法 UBTree をオープンソース化しました。

投機的デコーディングとは、小規模モデルに事前に「下書き」を作らせ、それを大規模モデルが複数の Token を一度に検証することで、Token を1つずつ生成する際に必要な計算ラウンド数を削減する手法です。

しかし下書きには的中率の問題もあります。小規模モデルが早い段階で間違えるほど、その後にそのまま採用できる内容は少なくなります。これまでにも、複数の候補経路を同時に用意してそれらを下書きツリーにまとめ、受け入れられる可能性が低い分岐を刈り込む技術が存在しました。

UBTree はこの絞り込み方法を改良しました。まず後続のいくつかの位置に現れうる Token を並列に予測し、次に軽量モデルを用いて隣接する Token が合理的につながるかを判定します。異なる組み合わせを同時に評価できるため、各経路に沿ってモデルを繰り返し実行する必要はありません。その後、より有望な分岐を選び出して下書きツリーを構成し、大規模モデルに検証させます。

チームはさらに、絞り込みモデルの学習方法も調整し、確率が最も高い答えだけでなく、保持する価値のある代替経路も識別できるようにすることで、大規模モデルが各ラウンドでより多くの Token を受け入れられる機会を増やしました。

Qwen3-4B の7項目のテストでは、DFlash 2 セレクタでツリーを構築した場合の平均高速化倍率は 5.95 倍でした。UBTree セレクタに切り替え、学習方法を調整した後は 6.88 倍に向上し、元の方案からさらに約 16% 改善されたことに相当します。