lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

大規模モデルのポストトレーニングにおける新発見:自己生成データを用いた「同軌トレーニング」が、学生が指導者を超え、かつ退化しない鍵となる。

動察 Beatingのモニタリングによると、大規模モデルの後学習における「同軌サンプリング」(モデルが自身がリアルタイムで生成したデータを用いて学習すること)は、モデルの劣化を防ぎ、問題解決能力を向上させる鍵となる。オンライン強化学習(RL)と同軌蒸留(OPD)が従来の教師ありファインチューニング(SFT)よりも優れている本質的な理由は、モデルが外部の正解を丸暗記するのではなく、自身が書き出したステップに基づいて最適化を行う点にある。

SFTが強制的に正解を注入すると、モデルの修正力が各単語に均等に加わり、モデル本来の知識構造を破壊しやすく、忘却を引き起こす。一方、RLとOPDはモデルが自身で書いた草稿の中から最適なステップを見つけ出し強化する。これにより、「最初の単語を間違えると、その後ずっと誤った方向に進む」という累積誤差を回避できるだけでなく、更新はモデルが既に知っている知識領域内でのみ行われるため、本来の能力を最大限に保持できる。

「最小コード編集」実験では、SFTまたはRLの教師モデルを用いて同軌蒸留を行った場合、生徒モデルが一度で正しいコードを書く成功率(Pass@1)はそれぞれ80.0%と78.7%に達し、教師モデルを上回った。SFT教師モデルが過度なファインチューニングにより著しく「劣化」した場合でも(LiveCodeBenchコード能力テストで0.320から0.286に低下)、その生徒モデルは0.297という高スコアを獲得し、教師の欠点にほとんど影響されなかった。これは同軌練習が教師の悪い習慣を効果的にフィルタリングできることを証明している。

現在、DeepSeek-V4とGLM-5は同軌蒸留を導入し、エキスパートモデルの能力を統合している。エキスパート学習において、コードや数学など明確な正誤がある分野はRLに適しており、クリエイティブや知識系の主観的タスクは同軌蒸留に適している。将来の究極のファインチューニングアルゴリズムは、同軌学習フレームワークの下で、蒸留の高効率(高情報密度)とRLの客観性(バイアスのない更新)を兼ね備えた新たなメカニズムを模索する必要がある。

举报 訂正/通報
関連おすすめ
技術革命の背景には、常に大規模な廉価労働力の消費があります。
事業が急速に拡大する中、Anthropicは自ら「ブレーキを踏む」よう呼びかけている。
どれだけ大きな機械に自分を入れれば、自分の賢さを無駄にしないと言えるのだろうか。
このPhysical AIデータエンジン企業は、1200万ドルのシードラウンド資金調達を完了したことを発表し、Hack VCがリード投資を行った。
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了