動察 Beatingのモニタリングによると、オープンソースAIツール企業UnslothがKimi K3の1-bit GGUFバージョンをリリースし、モデルを1.56TBから594GBに圧縮しました。ユーザーはUnsloth Studioまたはllama.cppを介してMacローカルで実行できます。
ただし、このバージョンには少なくとも約610GBのメモリが必要です。公式のソリューションによると、最上位の512GB Mac Studioでも、128GBメモリのデバイスと組み合わせる必要があります。メモリが不足している場合、ハードディスクを使用して強制的にロードすることも可能ですが、速度は大幅に低下します。
コミュニティには350GBおよび451GBのMLXトリミング版もあり、単一の512GB Mac Studioに収めることができます。ただし、これらは73%から80%のエキスパートを削除しており、実測速度は約0.14〜0.20 token/sで、性能も明らかに低下しています。