動察 Beating AI 速報、OpenRouter はデフォルトの推論ルーティングアルゴリズムをアップグレードすると発表した。これまでは主に価格に基づいて推論プロバイダーを選択していたが、今後は速度、安定性、実際の呼び出しコストを総合的に考慮し、最も安いプロバイダーを一味的に選ぶことはなくなる。
公式は2400万回以上のリクエストをテストした。結果によると、最初のトークン応答時間は16.9%短縮され、リクエスト全体の所要時間は19%短縮され、レート制限エラーに遭遇するリクエストの割合は7.1%から3.8%に低下した。その代償として、1000リクエストあたりのコストが約6%増加する。
新しいアルゴリズムはすでに稼働しており、ユーザーは設定を調整する必要がない。今回の最適化は同一モデル背後にある推論プロバイダーの選択を対象としたものであり、モデル自体の能力ではない。