動察 Beating AI 速報、第1回SGLang Summitにおいて、普段は激しく競争するNVIDIA、AMD、Intelが異例にも同じ陣営に立った。
3社のチップ大手はGoogle、Meta、Thinking Machines Lab、Cloudflare、Modal、RadixArkとともにSGLangアライアンスの9社の創設メンバーとなり、このオープンソースAI推論エンジンの将来ロードマップの策定に参加する。サミットには2000人以上が現地参加した。
SGLangは大規模モデル実行時の基盤ソフトウェアであり、ユーザーリクエストの処理、GPUのスケジューリング、VRAM管理、計算結果の再利用を担う。チップ1枚がどれだけ速く、どれだけ低コストでAIモデルを実行できるかを直接左右する。
SGLangはこれまでにNVIDIA、AMD、Intelなど多様なハードウェアをサポートしてきた。今回のアライアンス設立は、チップメーカーがより体系的に共同開発に参加し、エンジニアやテストリソースを投入し、各ハードウェアの性能最適化を推進することを意味する。
アライアンスメンバーは年2回ロードマップ会議を開催するが、最終的な技術決定とコードマージの権限は引き続きSGLangメンテナンスチームが握る。
SGLang公式によると、現在332の機関がこのプロジェクトを採用している。Metaもサミットで、従来の推論方案と比較してSGLangへ移行後、大規模本番環境でのGPUリソース節約が半分を超えたと明らかにした。
サミットではSGLang v1.0の開発方向も発表され、本番環境の安定性と互換性の向上に重点を置く。正式版はまだ開発中である。さらにSGLangはAWS Trainiumチップの公開プレビューサポートを開始し、Intelと協力してそのCPU、GPU、アクセラレータを最適化した。強化学習フレームワークMiles v0.2もリリースされた。