DFlashチームがMacに進出、27Bモデルが144Token/sを達成

動察 Beating AI 速報、Inco AI がオープンソースのローカル推論エンジン Splash を公開し、Qwen3.8-27B を M5 Max MacBook Pro 上で最高 144 Token/s で動作させた。LM Studio もすぐに対応し、バージョン 0.4.25 で直接利用可能になった。

Inco が以前開発した DFlash はすでに SGLang、vLLM、TensorRT-LLM、llama.cpp に採用されている。Meta、NVIDIA、Xiaomi、Poolside なども自社モデルに DFlash 加速用小モデルを搭載している。DFlash はまず小モデルが複数の Token を並列で予測し、それを大モデルがバッチ検証することで、Token ごとの生成計算を削減する。

Splash はこの最適化をローカル推論エンジン全体に拡張した。現在対応しているのは Qwen3.8-27B と Qwen3.6-35B-A3B のみで、各モデルに個別の GPU kernel、メモリ設計、DFlash 2 小モデルを用意している。対応モデルは少ないが、その分より大胆な性能最適化を実現している。

144 Token/s は M5 Max での最高デモ値である。Inco が横比較テストに使用した 48GB M5 Pro では、Qwen3.8-27B のシングルストリーム短コンテキストで 74 Token/s に達し、4 並列時には総スループットが 170 Token/s となり、2 位の 3.9 倍だった。ここが Splash が Agent シーンにより適している点でもある。1 つの Agent が同時に複数のサブタスクを起動する場合、並列時の総スループットは単一対話の速度よりも重要になることが多い。

Splash 自体はオープンソースで、LM Studio に縛られない。現時点では M3 以降の Mac、macOS 26.4 以上、少なくとも 36GB のユニファイドメモリが必要である。