動察 Beatingのモニタリングによると、大規模モデルエージェントは外部「装備」(Harness:プロンプト、記憶、スキル、ツールを含む)を更新することで自己進化を遂げることが多い。ペンシルベニア州立大学、UCSC、Amazonなどの機関が発表した最新論文『Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents』では、初めて進化プロセスを進化器の「装備更新」と実行側の「装備受益」という2つの次元に分離した。交差テストの結果、装備更新能力はモデルの基盤能力において明らかな「平坦化」特性を示すことが判明。異なるモデルが装備を更新した際の利益差は最大でも3.1%にとどまり、9BサイズのQwen3.5-9Bが生成した更新スキルは、プログラム構造においてすでにフラッグシップ級のClaude Opus 4.6と高度に等価であることが示された。これは、自己進化システムを開発する際に、進化器の役割に高コストなモデルを費やす必要がないことを示唆している。
一方、エージェントが装備から利益を得る能力は「非単調」な傾向を示す。トップモデルのパフォーマンスは天井に近づいている一方、弱いモデル(例:Qwen3-32B)は改善の余地が最も大きいにもかかわらず、実際の利益は最も少ない。研究では、弱いモデルに2つの主要な障害モードがあると指摘されている。まず「装備活性化失敗」で、弱いモデルのSkillsBenchベンチマークにおけるスキルロード率はわずか25.1%であるのに対し、強いモデルのロード率は約96%に達する。次に「装備遵守失敗」で、長期的な実行軌跡が展開されるにつれて、弱いモデルの指示遵守度はロード初期の0.52から0.13に急落する。
この最先端の発見は、著名なAI研究者Elvis Sar(@omarsar0)の強い共感を呼んだ。Elvis Sarは、自身のコーディングエージェントと長期的タスクの実験において、まったく同じ現象を観察したと指摘する。すなわち、より強力なモデルが必ずしもより優れたエージェントを進化させるわけではないということだ。本論文は、エージェントシステムアーキテクチャ設計に重要な指針を提供し、計算リソースの予算を実行エージェントに傾け、エージェントトレーニングにおいて装備の自主的な起動と長期的な指示遵守能力を重点的に強化すべきであることを示している。