アンダードッグがQwen3.8-27Bを7.89GBまで圧縮：ツール呼び出しの自己テストでオリジナル版を上回る

動察 Beating AI 速報、a16z が出資するローカル AI アシスタント Underdog が Saluki 27B をリリース、アリババの Qwen3.8-27B をベースに制作。モデルは約 2-bit 量子化を採用し、体積はフル精度版の約 54GB から 7.89GB に縮小。公式によると、16GB メモリのノートパソコンでも動作可能で、llama.cpp などの既存ツールでのデプロイをサポート。モデルの重みは Apache 2.0 ライセンスで公開されている。

Saluki はオーストリア科学技術研究所 ISTA-DASLab の量子化成果を使用。同ラボは以前、Qwen3.8-27B を約 8.4GB に圧縮していた。Underdog はこれを基にさらに体積を縮小し、ツール呼び出しの性能を重点的に最適化した。

BFCL から選ばれた 120 問のツール呼び出し問題で、Saluki は 88 問正解、ISTA 量子化版は 76 問正解、54GB の原版は 84 問正解。50 の実際の GitHub 問題修復タスクでは、Saluki は 30 問を解決し、原版は 33 問を解決した。

公式によると、Saluki は 9 項目の評価で平均して原版の 96% の成績を維持したが、タスクによってパフォーマンスの差が大きい。数学競技と複雑な推論の成績はそれぞれ原版の約 83% と 85% にとどまった。