Cognition社が毎秒1000トークンのプログラミング大規模モデルSWE-1.7を発表

動察Beatingのモニタリングによると、Cognitionは新たなAIプログラミング大規模モデル「SWE-1.7」を発表し、現在Devinで利用可能となっています。SWE-1.7は月之暗面（Moonshot AI）のKimi K2.7 Codeをベースに開発されました。複数のエージェント型プログラミングテストにおいて、GPT-5.5やClaude Opus 4.8に迫る性能を示しながらも、生成コストは大幅に低減されています。Cerebras推論チップを組み込むことで、SWE-1.7の実行速度は毎秒1000トークンに達します。

超長タスクに対応するため、モデルはコンテキストの臨界点で現在の状態を自動的に要約し、その要約から処理を継続することを学習しました。これにより、1回のタスクの持続時間は最長6時間となります。トレーニングでは、交互長さペナルティメカニズムが導入され、特定の段階で冗長な出力にペナルティを与えることで、モデルは単純なタスクでは推論を簡潔にし、長い推論は難しい問題に限定するよう促されます。また、単一クラスターの計算能力制限を打破するため、チームは3大陸にまたがるマルチクラスター分散トレーニングアーキテクチャを構築し、重みの変化量のみを同期することで、数分以内にグローバルノードのパラメータ更新を完了させています。