動察 Beating AI 速報、バークレーやMITなどの研究者がFreeTokenをオープンソース化しました。これはローカルデバイス専用に設計されたMoE(混合専門家モデル)推論エンジンで、超大規模モデルがGPUメモリに収まらない問題を主に解決します。一部の重みをシステムメモリに配置し、CPUとGPUが一緒に推論に参加できるようにします。
FreeTokenはモデルの多数の専門家重みをシステムメモリに置き、一部だけをGPUメモリにキャッシュします。GPUメモリにない専門家に遭遇した場合、PCIeとCPUメモリ帯域幅に基づいて、重みをGPUに転送するか、直接CPUに計算させるかを動的に決定します。これにより、CPU、GPU、システムメモリ、PCIeが一緒に推論に参加できます。
論文の実測によると、RTX 5090を搭載したゲーミングデスクトップで284BパラメータのDeepSeek-V4-Flashを実行すると、22〜25 Token/sに達します。このモデルは各トークン生成時に実際に約13Bパラメータのみをアクティブ化するため、このようなCPU・GPUハイブリッド推論に特に適しています。
FreeTokenはまた、8GB GPUメモリのRTX 4060ノートPCで35Bモデルを39.3 Token/sで実行し、単一の96GB RTX PRO 6000では753BパラメータのGLM-5.2を実行でき、速度はllama.cppの約2倍に達します。プロジェクトは現在20以上のMoEモデルをサポートしており、Apache 2.0ライセンスでオープンソース化されています。