智譜唐杰がScaling Lawを振り返る：1兆パラメータは業界全体が共に歩んだ遠回りだった

動察 Beating AI 速報、智譜の共同創業者である唐杰氏が長文でScaling Lawを振り返る。ここ数年、大規模モデルが発表されるたびに、皆が最初に聞くのは「パラメータ数はいくつか」ということだ。しかし唐杰氏の見解では、パラメータはもはや単独でモデルの能力を説明できない。データの量、計算リソースの使い道、モデルの将来の用途も同様に重要である。

業界はすでにこの点で一度遠回りを経験している。2020年、KaplanらのScaling Lawは、計算能力が増加すると、パラメータはトレーニングデータよりも速く成長すべきだと主張した。GPT-3、Gopher、MT-NLGはすべてこの方向に沿って規模を拡大し、業界は一気に兆パラメータへと突き進んだ。

2022年、Chinchillaが実験をやり直し、問題がまさにここにあることを発見した。多くの大規模モデルは大きすぎる一方で、データが十分に供給されていなかった。計算能力をさらに増やす場合、パラメータとデータは一緒に成長すべきである。唐杰氏が振り返ると、あの兆パラメータ競争は、業界全体が共に歩み、後に引き返した遠回りだった。

しかしChinchillaが計算したのは依然としてトレーニングのコストだけだ。モデルが実際に稼働した後は、繰り返し呼び出され、長期的な推論コストがますます重要になる。この部分も考慮に入れると、最適な解決策は再び変化する。モデルは少し小さくし、より多くのデータでより十分にトレーニングすることができる。後のLlama-2-7B、Gemma-2-9Bなどのモデルは、すでにこの方向に向かっている。

さらに後になると、MoEが問題を複雑にした。総パラメータが多いほど、通常はより多くの知識を格納できることを意味する。毎回実際に計算に参加するパラメータと計算深度は、推論能力に影響を与える。両者を混同してはならない。2025年までに、新しい研究はさらに、異なるタスクごとに最適なScaling方法が異なることを発見した。記憶はパラメータに依存し、推論はデータに依存する。MoEでは、総パラメータをむやみに増やすと推論を妨げる可能性があり、実際に計算に参加するエキスパートを増やす方がむしろ効果的である。

脆弱性発見は非常に直感的な例である。新しい脆弱性を見つけるには、CVEをいくつか暗記するだけでは不十分だ。本当に難しいのは、20ステップの推論を最後までやり遂げ、途中で途切れさせないことである。パラメータが多いからといって、必ずしもより深く考えられるわけではない。

GLM-5.3は、唐杰氏が今回提示した検証である。GLM-5.2と同じ基盤、同じアーキテクチャを使用し、総パラメータと活性化パラメータはどちらも変わっていない。チームはさらに1か月トレーニングを続け、長期的なタスク環境と強化学習の拡大に重点を置いたところ、能力は依然として明らかに向上した。今回追加されたのはパラメータではなく、後続トレーニングである。

唐杰氏の最終的な判断は明確だ。Scalingは決して終わっていない。モデル規模、事前トレーニングデータ、毎回の計算に投入する計算能力、後続トレーニングの深さ、すべてに余地がある。ただ、各世代のモデルでボトルネックが異なり、最も強化すべき点も変わる。

大規模モデルの次の競争は、誰のパラメータが多いかではなく、誰が計算能力をどこに使うべきかをよりよく知っているかで決まるかもしれない。