lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

Kimi K3がMacでローカル実行可能になったが、一般ユーザーにはまだ負荷が高い。

動察 Beatingのモニタリングによると、オープンソースAIツール企業UnslothがKimi K3の1-bit GGUFバージョンをリリースし、モデルを1.56TBから594GBに圧縮しました。ユーザーはUnsloth Studioまたはllama.cppを介してMacローカルで実行できます。

ただし、このバージョンには少なくとも約610GBのメモリが必要です。公式のソリューションによると、最上位の512GB Mac Studioでも、128GBメモリのデバイスと組み合わせる必要があります。メモリが不足している場合、ハードディスクを使用して強制的にロードすることも可能ですが、速度は大幅に低下します。

コミュニティには350GBおよび451GBのMLXトリミング版もあり、単一の512GB Mac Studioに収めることができます。ただし、これらは73%から80%のエキスパートを削除しており、実測速度は約0.14〜0.20 token/sで、性能も明らかに低下しています。

関連おすすめ
外国人が「ソ連の人工衛星が打ち上げられた日よりも衝撃的だ」と言っている。
シティグループとバンク・オブ・アメリカ証券は、Kimi K3が推論コストを削減する一方で、「ジェヴォンズのパラドックス」を通じて、より多くの呼び出し、長いコンテキスト、エージェントタスクを刺激し、GPU、HBM、DDR5、eSSD、ネットワークインフラの需要を押し上げる可能性があると見ている。
格安オープンウェイトモデルが再びAI評価のストーリーに衝撃を与えている。
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了