OpenRouterがJevをスマートルーティングに統合：モデル切り替え前にキャッシュ損失を計算

動察 Beating AI 速報、OpenRouter が Jev Router をリリースし、TypeSafe の Jev をモデルルーティングに接続した。各リクエストが送信される前に、Jev はタスクの難易度、精度要件、および現在のモデルと推論ティアが十分かどうかを判断し、そのまま継続するか、推論強度を上げるか、別のモデルに切り替えるかを決定する。

OpenRouter の従来の Auto Router は、タスクタイプに基づいてモデルを選択する傾向があった。まずこれがどのようなタスクかを判断し、過去7日間の同種リクエストにおける各モデルの使用状況を参考にしてルートを選ぶ。Jev Router はさらに、そのラウンドがどれだけ難しいかを考慮する。簡単なタスクはティアを下げ、難しい問題は reasoning effort を上げることができる。同じモデルでまだ解決できるなら、急いでモデルを切り替えない。

ここにはもう一つ非常に現実的な問題があり、それはコンテキストキャッシュだ。長い会話でモデルを切り替えると、すでにキャッシュされたコンテキストは通常そのまま再利用できず、新しいモデルはチャット履歴全体を再処理する必要があるかもしれない。Jev Router はこの損失も計算に入れる。OpenRouter によると、モデル切り替えによる期待収益が切り替えコストを上回る場合にのみ実際にモデルを切り替え、同じモデルはできるだけ継続して使用する。

OpenRouter の自己テストによると、4つの Agent benchmark 合計423タスクのうち、Jev Router は237タスクを完了し、Auto Router は130タスクを完了した。約82%多くのタスクを解決したことになる。さらに別の5つの Agent benchmark では、初回トークンの中位レイテンシもテストに参加した他のルーターより低かった。

同様の考え方は以前から Jev コミュニティに存在していた。例えば `gholtzap/jev-codex-model-and-effort-router` は、まず Jev に Codex のモデルと推論ティアを選択させ、その後スレッド全体を固定してキャッシュを再利用する。`Jev-Auto-Router` は呼び出しごとにモデルを再選択しようと試みる。OpenRouter は今回、こうした手法を公式ルーティングサービスに直接組み込んだ。