lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

NVIDIA、AMD、Intelが異例の連携:9社がSGLangオープンソース推論連合を共同構築

動察 Beating AI 速報、第1回SGLang Summitにおいて、普段は激しく競争するNVIDIA、AMD、Intelが異例にも同じ陣営に立った。


3社のチップ大手はGoogle、Meta、Thinking Machines Lab、Cloudflare、Modal、RadixArkとともにSGLangアライアンスの9社の創設メンバーとなり、このオープンソースAI推論エンジンの将来ロードマップの策定に参加する。サミットには2000人以上が現地参加した。


SGLangは大規模モデル実行時の基盤ソフトウェアであり、ユーザーリクエストの処理、GPUのスケジューリング、VRAM管理、計算結果の再利用を担う。チップ1枚がどれだけ速く、どれだけ低コストでAIモデルを実行できるかを直接左右する。


SGLangはこれまでにNVIDIA、AMD、Intelなど多様なハードウェアをサポートしてきた。今回のアライアンス設立は、チップメーカーがより体系的に共同開発に参加し、エンジニアやテストリソースを投入し、各ハードウェアの性能最適化を推進することを意味する。


アライアンスメンバーは年2回ロードマップ会議を開催するが、最終的な技術決定とコードマージの権限は引き続きSGLangメンテナンスチームが握る。


SGLang公式によると、現在332の機関がこのプロジェクトを採用している。Metaもサミットで、従来の推論方案と比較してSGLangへ移行後、大規模本番環境でのGPUリソース節約が半分を超えたと明らかにした。


サミットではSGLang v1.0の開発方向も発表され、本番環境の安定性と互換性の向上に重点を置く。正式版はまだ開発中である。さらにSGLangはAWS Trainiumチップの公開プレビューサポートを開始し、Intelと協力してそのCPU、GPU、アクセラレータを最適化した。強化学習フレームワークMiles v0.2もリリースされた。

举报 訂正/通報
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了