AnthropicはClaudeでコアAPIを書き直し、CPU使用量を40%から50%削減した

動察 Beating AI 速報、Anthropicのプラットフォームエンジニアリング責任者Katelyn Lesse氏はLatent Spaceのインタビューで、同社がMessages APIをPythonからRustへ移行したことを明らかにした。改修後、APIサービスのCPU使用量は推定で約40%から50%削減され、最初のトークンの応答遅延は約10%から20%改善された。

Messages APIは開発者がClaudeを呼び出すための主要なインターフェースである。リクエスト量の増加に伴い、従来のPythonモノリシックサービスはますますCPUを消費するようになり、チームはRustで直接書き直すことを決定した。しかしプロジェクト開始時、移行を担当するグループにはRustエンジニアが一人もいなかった。

最終的にClaudeが主要なコード執筆を担い、人間のエンジニアがアーキテクチャ設計と検証を担当した。チームはまず完全なRustバージョンを構築し、新旧システムに同じリクエストを処理させて出力を一つずつ比較し、その後段階的に本番トラフィックを切り替えた。プロセス中にRustの経験を持つエンジニアも数名採用した。

Lesse氏によると、過去にこの規模の移行は通常複数の段階に分割され、数年を要した。今回はチームがAPI全体の移行を直接完了し、すでに9月に全面リリースされた。