動察 Beatingのモニタリングによると、大規模モデルの後学習における「同軌サンプリング」(モデルが自身がリアルタイムで生成したデータを用いて学習すること)は、モデルの劣化を防ぎ、問題解決能力を向上させる鍵となる。オンライン強化学習(RL)と同軌蒸留(OPD)が従来の教師ありファインチューニング(SFT)よりも優れている本質的な理由は、モデルが外部の正解を丸暗記するのではなく、自身が書き出したステップに基づいて最適化を行う点にある。
SFTが強制的に正解を注入すると、モデルの修正力が各単語に均等に加わり、モデル本来の知識構造を破壊しやすく、忘却を引き起こす。一方、RLとOPDはモデルが自身で書いた草稿の中から最適なステップを見つけ出し強化する。これにより、「最初の単語を間違えると、その後ずっと誤った方向に進む」という累積誤差を回避できるだけでなく、更新はモデルが既に知っている知識領域内でのみ行われるため、本来の能力を最大限に保持できる。
「最小コード編集」実験では、SFTまたはRLの教師モデルを用いて同軌蒸留を行った場合、生徒モデルが一度で正しいコードを書く成功率(Pass@1)はそれぞれ80.0%と78.7%に達し、教師モデルを上回った。SFT教師モデルが過度なファインチューニングにより著しく「劣化」した場合でも(LiveCodeBenchコード能力テストで0.320から0.286に低下)、その生徒モデルは0.297という高スコアを獲得し、教師の欠点にほとんど影響されなかった。これは同軌練習が教師の悪い習慣を効果的にフィルタリングできることを証明している。
現在、DeepSeek-V4とGLM-5は同軌蒸留を導入し、エキスパートモデルの能力を統合している。エキスパート学習において、コードや数学など明確な正誤がある分野はRLに適しており、クリエイティブや知識系の主観的タスクは同軌蒸留に適している。将来の究極のファインチューニングアルゴリズムは、同軌学習フレームワークの下で、蒸留の高効率(高情報密度)とRLの客観性(バイアスのない更新)を兼ね備えた新たなメカニズムを模索する必要がある。