Claudeの蒸留防止は効果が薄い可能性：小規模モデルが大規模モデルの思考連鎖を直接引き出せる

動察 Beatingのモニタリングによると、大規模モデルメーカーは能力の蒸留を防ぐため、完全な思考連鎖を隠し、ユーザーには要約のみを提供している。しかし最新の研究では、この保護は想像以上に強固ではないことが判明した。Opusの暗号化された思考連鎖を同社のより弱いモデルHaikuに渡し、Haikuを脱獄させることで、Opusの元の推論を直接復唱させることができるのだ。研究者らはClaude、GPT、Geminiのすべてでこれを実証した。

この問題は実は数ヶ月前から伏線があった。5月、暗号学者のMatthew Green氏は、これらの暗号化された思考連鎖がセッションやアカウントをまたいでリプレイ可能であることを発見したが、当時は内容を安定して読み取る方法は見つかっていなかった。新しい論文が最後のピースを埋めた。暗号アルゴリズムを解読する必要はなく、メーカー自身のモデルに「復号」をさせるだけでよいのだ。

さらに遡る3月には、現Engramの共同創業者兼研究責任者であるJohn X. Morris氏らが別の道筋も実証していた。元の思考連鎖に完全にアクセスできなくても、答えと推論の要約だけを見れば、詳細な合成推論を逆算でき、それを小規模モデルの訓練に使用できるというものだ。

これにより、以前から流布していた「国内のAI企業はすでにClaudeやCodexの元の推論を取得し、それをモデル訓練に使用する方法を見つけている」という主張が、技術的により説得力を持つようになった。ただし、これは方法が実行可能であることを証明するに過ぎず、国内のAIラボが実際にそのようなことを行ったことを証明するものではない。

論文ではKimi K3もテストされた。Opusの推論トークンを数個だけ与えるだけで、K3のその後の推論は明らかにOpusに近づく。一部のClaude、GPTの元の推論断片は、Kimi K3から抽出する方が他のモデルよりも最大で約6桁容易であるが、著者らはこれをもって蒸留を証明することはできないと明確に述べている。