lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

大規模モデルの基盤を変更しても再ファインチューニングは不要、Ramp Labsがモデル間適応フレームワーク「PorTAL」を発表

動察Beatingのモニタリングによると、大規模言語モデルは頻繁にアップデートされているが、企業がファインチューニングした成果はバージョンをまたいで維持することが難しいのが現状だ。現在主流のファインチューニング技術(LoRAなど)は、特定のベースモデルの重み空間と深く結びついており、一度性能の良い新しいベースモデルに交換すると、開発者はすべてのファインチューニングタスクをゼロから再トレーニングしなければならず、モデルアップグレードのコストが高くなってしまう。

フィンテックユニコーン企業Ramp傘下のAIラボは、この制限を打破しようと、ポータブルタスクアダプター(PorTAL)フレームワークを発表した。このフレームワークは従来のファインチューニングプロセスを変え、開発者が初期トレーニング時に、ベースモデルから独立した「タスク潜在表現」を共同トレーニングし、定着させることを可能にする。新しいベースモデルに交換する際、開発者はゼロからトレーニングする必要はなく、ごく少量のキャリブレーションデータで非常に薄いモデル専用コンバーターを再キャリブレーションするだけで、異なるモデル間(さらにはQwen-3からGemma-3のようなモデルファミリーをまたいでも)でファインチューニング能力を迅速に移行できる。

PorTALは移行時にタスク潜在表現とコアデコーダーを凍結したままにするため、データ量と適応のための計算コストを半減できる。公式テストによると、この方式は標準的なLoRAの精度向上効果の94%から98%を回復でき、異なるデータ量においてもより良い汎化性能を示す。

ただし、このフレームワークはまだ初期段階にあり、Rampはコードやモデルの重みをオープンソース化しておらず、第三者による独立した評価も不足している。現在のテストデータは主に8Bパラメータ以下の小規模モデルに集中しており、より大規模なパラメータや複雑な指示タスクにおける移行性能はまだ検証が必要である。

関連おすすめ
Stripeは75億ドルでOpenRouterを買収し、AIトラフィックの経路からエージェント経済の制御点へと変わることに賭けている。
でも知っておくべきなのは、OpenAIがこの1年繰り返し言っているのは「知能はどんどん安くなる」ってことだ。
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了