GPT-6が「手書き」でニューラルネットワークを構築し始めた：ゲームのルールを重みに変換し、ブロック崩しのスコアが20倍に

動察 Beating AI速報、ニューラルネットワークには数百万、数億ものパラメータがあり、これまでは主にトレーニングアルゴリズムによって繰り返し調整されてきた。しかしMITの研究チームは、GPT-6 Astraがこれらの数値を直接分析・修正でき、トレーニングなしでもゼロからニューラルネットワークを書き上げられることを発見した。

研究者たちは、簡略化したブロック崩しゲームのルール、ソースコード、そして重みがすべてゼロのニューラルネットワークをGPT-6に渡し、自分でパラメータを埋めさせた。トレーニングデータも提供せず、試遊も許可しなかった。GPT-6は自らボールの落下点を推算し、予測とパドル移動のロジックをネットワークの重みに書き込んだ。最終的にゲームのスコアは517.4に達し、同じ構造で5億ステップの強化学習トレーニングを経たモデルの約20倍となった。ただし、他の2つのゲームでは、5億ステップトレーニングしたモデルを超えなかった。

研究者たちは続いて、GPT-6にアリババのQwen3.5-0.8Bの重みを直接修正させた。モデルを再トレーニングすることなく、わずか0.016%のパラメータを変更するだけで、MATH-500の数学正答率を7.9%から48.1%に引き上げ、指示追従の成績も約3倍に向上させた。

実は、Qwenはしばしば思考の無限ループに陥り、推論を繰り返すだけで答えを出さなかった。修正前は、数学テストの回答の93%が32768トークンを使い果たしていたが、修正後は33.1%に低下した。GPT-6は、モデルが正常に解答することを妨げる問題を修復したに等しい。

しかし、パラメータ数わずか2.7億のGemma 3 270Mに変えると、GPT-6は数学の成績を明確に向上させられなかった。このより小さなモデルは無限ループに陥ることはほとんどなく、主な問題は算術と推論自体が誤りやすいことであり、少数の重みを修正するだけでは簡単に解決できなかった。

研究者たちは、このパラメータを直接読み書きする方法を「重み空間プログラミング」（Weight-Space Programming）と呼んでいる。