DeepSeekが内部推論エンジンDeepInferをオープンソース化：昇騰950をサポートするが、まだ完全なオンラインサービスではない

動察 Beating AI 速報、DeepSeek が内部推論フレームワーク DeepInfer を正式にオープンソース化、Apache 2.0 ライセンスを採用。このシステムはすでに DeepSeek V4.1 Flash の大規模オンラインサービスを支えている。これまでに DeepSeek は DeepGEMM 計算ライブラリ、FlashMLA アテンション演算子、DeepEP 通信ライブラリを順次オープンソース化してきた。今回はさらに、マルチカード並列、タスクスケジューリング、生成加速を担うコアフレームワークを公開した。

DeepInfer の目標は、同じ計算リソースでより多くのリクエストを処理し、同時にユーザーの待ち時間を短縮することだ。モデルの異なるエキスパートを複数の計算カードに割り当て、CPU スケジューリングと GPU 演算を同時に進行させることができる。DSpark 投機的デコーディングは、複数の候補 Token を事前に生成し、信頼度に応じて検証を手配する。SWA Bounded Replay は、モデルが長文を処理する際に直近の一小部分のみを再計算し、重複演算を削減する。さらに、JSON などの構造化出力や、再現可能なサンプリング機構もサポートしている。

今回のオープンソース化には曲折もある。2025 年 4 月、DeepSeek は内部推論エンジンが初期の vLLM を大幅に改造したものであり、自社クラスタと高度に結合しており、コミュニティに直接開放するのは難しいと説明し、まず独立コンポーネントを切り出すことを決めた。今、コアコードがついに公開されたが、完全なオンライン展開ソリューションではない。GitHub には、現在のバージョンは主にオフライン推論を提供し、KV キャッシュ管理、入力と生成段階の分離、レプリカ間の負荷分散などのコンポーネントがまだ欠けていると明記されている。

現在 DeepInfer は DeepSeek V4.1 Flash のみをサポートし、NVIDIA SM100 GPU と華為昇騰 950 NPU に対応している。公式の性能テストでは、4 枚と 64 枚の SM100 GPU を使用して入力処理と出力生成をそれぞれ測定したが、vLLM、SGLang との同条件での性能比較は提供されていない。同時に更新された deepseek-recipe は、公式 API と整合したメッセージおよび Token エンコード・デコード機能を提供し、思考内容、画像、ツール呼び出しなどの形式をサポートしている。