動察 Beating AI 速報、ARC-AGI-3 Kaggle コンペティションで暫定1位のCSTLは、先ほど公開されたばかりのAIスタートアップMostikであり、現在のスコアは7.51%。チームは計15人で、12人の博士と1人のフィールズ賞受賞者を含む。ただし、コンペはまだ終了しておらず、2回目のマイルストーンは9月30日に締め切り、最終提出は11月2日まで。
Mostikが行っているのは、異なるAIモデルが内部状態を直接交換できるようにすること。通常のマルチエージェントは主にテキストで伝達するが、Mostikは2つのモデル間にブリッジをトレーニングし、一方のモデルのhidden statesを他方のモデルが理解できる表現に変換する。両方のモデル自体はファインチューニングする必要がない。
彼らが公開した実験では、753BのGLM-5.2と4BのQwen3.5を使用しており、大まかに言えば大規模モデルがprefillを担当し、小規模モデルがdecodeを担当すると近似できる。GLM-5.2は問題を読むだけで、トークンを生成しない。内部状態は直接4Bの小規模モデルに渡され、回答を生成する。Mostikによると、これにより両者の性能差を約半分に縮小できる。同じ精度を達成する中型単一モデルと比較して、計算量は約40%のみ。ただし、最終的な効果は依然として753Bの大規模モデル自体には及ばない。
Mostikは、7.51%のスコアにどのモデルとハーネスを使用したかをまだ公開していない。上記の753B+4Bは別の技術デモであり、ランキング奪取の構成とは見なせない。ARC-AGI-3コンペ自体もエージェントシステム全体を競うもので、以前のステージチャンピオンはQwen 3.6 27Bのみを使用していたが、ハーネス、ツール、コンテキスト管理によって1位を獲得した。
一方、この技術はモデルのhidden statesを読み取る必要があるため、ClaudeやGPTなどのクラウドモデルでは現在使用できない。Google DeepMindのエンジニアSusan Zhangも、モデルの内部状態を制御できるのであれば、2つのモデルを凍結して別々に「ブリッジ」をトレーニングすることが本当に最もコスト効率の良いエンジニアリング手法なのか疑問を呈している。