ザッカーバーグ公開書簡：蒸留は無罪、モデルはすべてを学ぶべきだ

動察 Beatingのモニタリングによると、ザッカーバーグは本日長文を発表し、モデル蒸留を公然と擁護した。彼は、モデルが他のモデルから学ぶことはもともとオープンソースエコシステムの一部であると考えている。米国がオープンソースAIのリーダーであり続けるには、蒸留とトレーニングデータへの制限を緩和する必要がある。

また、彼は「蒸留は有害だ」という主張に直接反論し、「観察できるものは、学ぶことを許されるべきだ」と述べた。米国が先に自らを縛れば、他国のオープンソースモデルがより速く追い上げるだけだ。

これはまさに、OpenAIやAnthropicの最近の動きとは逆の方向だ。両社は競合他社が制限を迂回してモデル出力を大規模に取得するのを厳重に防いでいるが、ザッカーバーグは、そのためにモデル間の学習まで制限すべきではないと考えている。

Metaが本日公開したばかりのMuse Glimmerは、そもそもMuse Sparkから蒸留されたものだ。