BlockBeats ニュース、6月27日、CoinbaseのCEOであるBrian Armstrong氏は、トークン使用量が指数関数的に増加する一方でAI支出を安定させるためには、使用時の摩擦や支出通知を設定するのではなく、より優れたデフォルトモデル、ルーティング、キャッシュメカニズムが重要だと述べた。CoinbaseはLLMゲートウェイを通じて、デフォルトでGLM 5.2やKimi 2.7などのオープンウェイトモデルを試用しており、同時にエンジニアにはタスクに応じて適切なモデルを選択するよう促している。同氏によると、従業員の91%が使用上限に達したことがないため、同社は上限を引き下げて通知を増やすのではなく、より低コストのデフォルトモデルに移行したという。
モデルルーティングに関して、Coinbaseはカスタムプロセスでプロンプトを前処理し、キャッシュヒット率とモデル価格に基づいてタスクを最適なモデルにルーティングする。例えば、計画段階では最先端モデルが必要かもしれないが、実行段階でそれを使用するのは過剰かもしれない。同氏は、将来的には人間がモデルを選択するのではなく、AIが自動的にそのタスクを実行できるようになると考えている。
Armstrong氏はまた、キャッシュミスがコストを押し上げる最も簡単な方法だと述べた。Coinbaseのリクエストはすべてキャッシュ認識機能を備えており、ホットキャッシュを可能な限り再利用できるようになっている。例えば、キャッシュを適切に実装した後、LibreChatのキャッシュヒット率は5%から60%に向上した。さらに、Coinbaseはエンジニアに対し、タスク切り替え時の新しいセッション開始、ファイルコンテキストの縮小、未使用ツールの切断など、コンテキストを簡潔に保つよう求めている。目標はAI使用量を抑制することではなく、指数関数的な成長を支えるインフラを構築することだ。これらの実践により、CoinbaseはAI支出をほぼ半減させながら、トークン使用量は引き続き増加している。