アンソロピックの元研究者が再び警告：アルゴリズムの進歩が加速しており、より強力なAIの訓練には計算資源の積み増しに頼る必要がなくなる可能性がある

動察 Beating AI速報、今年9月、OpenAIとAnthropicで事前学習研究に従事していたJacob Coxon氏が辞職し、両社が自己改善可能な超知能へ突き進んでいると怒りを露わにし、まるで「私たちの命を賭けている」と批判した。この発言は米国議員による規制強化の呼びかけを招き、マスク氏に至っては彼が規制の宣伝工作に協力しているのではないかと疑った。

現在、Coxon氏はさらにAnthropicのIPOロードショーで使われたある図を貼り付け、これが辞職を決意した重要な理由の一つだと述べた。「この図はおかしすぎる。まさか彼らが公開するとは思わなかった」

Anthropicはもともとこの図で自社の技術的優位性を示そうとしていた。アルゴリズムの不断の改善により、同等のコード能力を持つモデルを訓練するのに必要な計算資源はますます少なくなっている、と。

しかしCoxon氏は、図の縦軸がすでに対数スケールを採用しているにもかかわらず、曲線が依然としてますます急になっていることに気づいた。これは、データが正確であれば、訓練効率の向上速度自体も加速していることを意味する。彼はこれに基づき、Anthropicのアルゴリズムの進歩はすでに「超指数関数的成長」を呈していると主張した。

Mythosはこの急峻な曲線上の普通の一地点にすぎないかもしれない。Anthropicはすでに当初よりはるかに少ない計算資源で、Mythosと同等レベルのモデルを訓練できる。同じ計算資源を投入すれば、より強力なAIを訓練できる可能性がある。

また、訓練アルゴリズムの改善は必ずしも天才研究者が絶えず画期的なアイデアを出す必要はなく、こうした作業はすでに自動化に近い段階にある。Anthropicの共同創業者Tom Brown氏もロードショーで、将来Claudeが自ら訓練効率を高める方法を発見できる見込みがあると語った。新しい方法はより強力なモデルの訓練に使え、より強力なモデルはさらに新しい最適化方法を探し続けられる。

ただし、この図には具体的な計算資源の倍数は公開されておらず、データ点は3つだけで、図の下には位置はあくまでイメージである旨が注記されている。

Coxon氏は2027年にフロンティアAIの研究開発を一時停止し、競合他社に追いつかせるべきだと主張している。そうすれば人間レベルのAI能力が徐々に誰もが使える普通の商品となり、OpenAIとAnthropicが先行モデルによって築いた優位性を打ち破ることができる。