lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

FreeTokenオープンソース:5090一枚でDeepSeek-V4-Flashを実行、最大25 Token/s

動察 Beating AI 速報、バークレーやMITなどの研究者がFreeTokenをオープンソース化しました。これはローカルデバイス専用に設計されたMoE(混合専門家モデル)推論エンジンで、超大規模モデルがGPUメモリに収まらない問題を主に解決します。一部の重みをシステムメモリに配置し、CPUとGPUが一緒に推論に参加できるようにします。


FreeTokenはモデルの多数の専門家重みをシステムメモリに置き、一部だけをGPUメモリにキャッシュします。GPUメモリにない専門家に遭遇した場合、PCIeとCPUメモリ帯域幅に基づいて、重みをGPUに転送するか、直接CPUに計算させるかを動的に決定します。これにより、CPU、GPU、システムメモリ、PCIeが一緒に推論に参加できます。


論文の実測によると、RTX 5090を搭載したゲーミングデスクトップで284BパラメータのDeepSeek-V4-Flashを実行すると、22〜25 Token/sに達します。このモデルは各トークン生成時に実際に約13Bパラメータのみをアクティブ化するため、このようなCPU・GPUハイブリッド推論に特に適しています。


FreeTokenはまた、8GB GPUメモリのRTX 4060ノートPCで35Bモデルを39.3 Token/sで実行し、単一の96GB RTX PRO 6000では753BパラメータのGLM-5.2を実行でき、速度はllama.cppの約2倍に達します。プロジェクトは現在20以上のMoEモデルをサポートしており、Apache 2.0ライセンスでオープンソース化されています。

举报 訂正/通報
関連おすすめ
前方の道は、もはや目を閉じたまま進むことを許してはくれない。
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了