SGLangは通常の大規模モデルにJev式の意思決定モードを追加し、ファインチューニングなしでも直接選択を行える

動察 Beating AI 速報、大規模モデル推論/デプロイフレームワーク SGLang にネイティブ意思決定 API が追加され、Qwen3.8-27B のような既存の LLM やマルチモーダルモデルが重みを変更したり再ファインチューニングしたりすることなく、直接選択・判断・スコアリングを行えるようになった。開発者が現在の状況と複数の候補回答を提示すると、モデルは各選択肢の確率を直接返し、もはや一度テキストを生成してから解析する必要はない。

これは大規模モデルが本来計算する「次の token 確率」を利用している。例えば候補回答が A、B、C の場合、通常のチャットモデルはテキスト生成を続けるが、SGLang はモデルが A、B、C に対して持つ確率を直接読み取り、どの回答をより支持しているかを確認する。モデル自体は変わらず、結果の読み取り方法を変えただけである。

SGLang は Qwen3.8-27B を使って『ポケモン FireRed』のデモを行った。モデルはリアルタイムのゲーム状態に基づいて攻撃、ポケモン交代、回復を判断し、1回の意思決定は 100ms 未満で、四天王とチャンピオンを一気に攻略した。Qwen3.8-27B 自体が画像入力に対応しているため、この手法はマルチモーダルな意思決定にも対応できる。

SGLang はさらに /v1/systemone インターフェースを追加し、Jev が使用する TypeSafe SDK と互換性がある。すでにこの SDK を使用しているアプリケーションは、サービスアドレスを自分の SGLang インスタンスに変更して引き続き呼び出すことができる。新機能はすでに nightly バージョンに入っており、v0.5.21 で正式リリースされる予定である。