lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

OpenRouterが推論ルーティングをアップグレード:約6%のコスト増で応答速度が約17%向上

動察 Beating AI 速報、OpenRouter はデフォルトの推論ルーティングアルゴリズムをアップグレードすると発表した。これまでは主に価格に基づいて推論プロバイダーを選択していたが、今後は速度、安定性、実際の呼び出しコストを総合的に考慮し、最も安いプロバイダーを一味的に選ぶことはなくなる。


公式は2400万回以上のリクエストをテストした。結果によると、最初のトークン応答時間は16.9%短縮され、リクエスト全体の所要時間は19%短縮され、レート制限エラーに遭遇するリクエストの割合は7.1%から3.8%に低下した。その代償として、1000リクエストあたりのコストが約6%増加する。


新しいアルゴリズムはすでに稼働しており、ユーザーは設定を調整する必要がない。今回の最適化は同一モデル背後にある推論プロバイダーの選択を対象としたものであり、モデル自体の能力ではない。

関連おすすめ
Stripeは75億ドルでOpenRouterを買収し、AIトラフィックの経路からエージェント経済の制御点へと変わることに賭けている。
モデルがますます代替可能な電力のようになるにつれ、企業にとって最もコスト効率が良く、最も安定した選択肢を提供できる者が、AIの料金所に座る可能性がある。
シティグループとバンク・オブ・アメリカ証券は、Kimi K3が推論コストを削減する一方で、「ジェヴォンズのパラドックス」を通じて、より多くの呼び出し、長いコンテキスト、エージェントタスクを刺激し、GPU、HBM、DDR5、eSSD、ネットワークインフラの需要を押し上げる可能性があると見ている。
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了