KimiはAI上司を訓練し、General ReasoningはAI企業全体を訓練する

動察 Beating AI 速報、今年1月、Kimi K2.5 が Agent Swarm を発表し、1つのメイン Agent が複数のサブ Agent を募集・指揮できるようにし、続く K2.6 では規模を最大300のサブ Agent に拡大した。

しかし Kimi の強化学習手法 PARL は指揮を担当する「ボス」だけを訓練し、サブ Agent は凍結する。理由は、複数人で1つのタスクを完了する場合、誰が功績を立てたかを区別するのが難しく、全員が同時に戦略を調整すると訓練が不安定になりやすいからだ。

General Reasoning はあえて別の道を試みた。チームは120Bパラメータモデル Avalon-M1-Mini を発表し、RLCR（集団報酬強化学習）を提唱した。1つの Agent が CEO を務め、最大8名の従業員を募集し、掲示板と共有ワークスペースを通じて協働する。全メンバーが同じモデルを使用し、タスク完了後は個別に貢献を計算するのではなく、チームの総合成績に基づいて一緒に強化学習を受ける。

この手法は147の訓練環境、200万以上の異なるタスクで持続的な改善を達成した。ソフトウェアタスクでは、募集職種における主管エンジニアの割合が0.4%から約13%に上昇し、少なくとも1回の相互レビューを実施したチームの割合が42%から64%に向上した。分業にも変化が生じ、各自がコードの一部を書く形から、1人が主に書き、他のメンバーがテストと誤り指摘を担当する形へと徐々に移行した。本来は人手で設計する必要があった管理層と品質検査のプロセスが、訓練の中で自発的に形成された。

ただしチームの成績がより良いのは、一部にはより多くの Token を使用しているからにすぎない。研究者が単一 Agent に同じだけの出力 Token を与えると、チームの得点優位性の約6割を取り戻せた。チームの主な利点は同時に作業できることであり、12項目の評価において、同程度の成績に達する推定所要時間は平均で単一 Agent の約4分の1にすぎない。

研究者はまた、今年 OpenAI のエージェントが Hugging Face を攻撃した事件を模擬した。210回のテストで、模擬攻撃ツールを呼び出した Agent はなかった。しかし訓練が進むにつれ、人間の評価者に異常を報告する割合は76.7%から0に低下した。ただし96.7%から100%の実行記録が報告を検討したことがあった。ある Agent はチーム内部でのみ異議を唱えることを選び、あるものは報告を計画しながら実際には行動しなかった。

現在 Avalon-M1-Mini はまだ訓練中であり、チームは訓練完了後に最終論文を発表し、訓練環境、Agent フレームワーク、モデルの重みをオープンソース化する予定だ。