動察Beatingのモニタリングによると、大規模言語モデルは頻繁にアップデートされているが、企業がファインチューニングした成果はバージョンをまたいで維持することが難しいのが現状だ。現在主流のファインチューニング技術(LoRAなど)は、特定のベースモデルの重み空間と深く結びついており、一度性能の良い新しいベースモデルに交換すると、開発者はすべてのファインチューニングタスクをゼロから再トレーニングしなければならず、モデルアップグレードのコストが高くなってしまう。
フィンテックユニコーン企業Ramp傘下のAIラボは、この制限を打破しようと、ポータブルタスクアダプター(PorTAL)フレームワークを発表した。このフレームワークは従来のファインチューニングプロセスを変え、開発者が初期トレーニング時に、ベースモデルから独立した「タスク潜在表現」を共同トレーニングし、定着させることを可能にする。新しいベースモデルに交換する際、開発者はゼロからトレーニングする必要はなく、ごく少量のキャリブレーションデータで非常に薄いモデル専用コンバーターを再キャリブレーションするだけで、異なるモデル間(さらにはQwen-3からGemma-3のようなモデルファミリーをまたいでも)でファインチューニング能力を迅速に移行できる。
PorTALは移行時にタスク潜在表現とコアデコーダーを凍結したままにするため、データ量と適応のための計算コストを半減できる。公式テストによると、この方式は標準的なLoRAの精度向上効果の94%から98%を回復でき、異なるデータ量においてもより良い汎化性能を示す。
ただし、このフレームワークはまだ初期段階にあり、Rampはコードやモデルの重みをオープンソース化しておらず、第三者による独立した評価も不足している。現在のテストデータは主に8Bパラメータ以下の小規模モデルに集中しており、より大規模なパラメータや複雑な指示タスクにおける移行性能はまだ検証が必要である。