lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

開発者が32ビットCPUをQwenの重みに組み込む:大規模モデル内部でコンピュータプログラムを直接実行

動察 Beating AI 速報、独立開発者のDivyansh Agrawal氏がアリババのQwen3.5-4BをベースにQwenputerを開発した。32ビットRISC-V仮想CPUをモデルの重みに直接組み込み、大規模言語モデルが外部計算ツールを呼び出さなくても、回答生成時に正確な計算を行えるようにした。


作者はQwenを再トレーニングしたのではなく、既存の32層ネットワークの前に11層を追加し、コンパイラを用いてCPUの演算規則をそのままモデルパラメータとして書き込んだ。追加されたネットワークはさらにGated DeltaNet構造を利用して正確な読み書きが可能なメモリを実現し、プログラムとデータを格納している。


この仮想CPUはすでにコンパイル済みのCプログラムを実行でき、RISC-V命令テストにも合格している。累計約1800万命令を実行したテストではエラーは見つかっていない。


DeepMindの40問の大きな数の掛け算テストでは、オリジナルのQwenは22問正解し、Qwenputerは39問正解した。オリジナルのQwenに外部Pythonを接続した場合は全問正解した。CPU自体は命令を正確に実行できるが、大規模言語モデルは呼び出しや結果出力の際に依然として誤りを起こす可能性がある。


この技術路線には先例がある。今年3月、Perceptaはニューラルネットワークを用いてCプログラムを実行できる仮想コンピュータを実現した。ただし、それは専用に構築されたモデルだった。Qwenputerは同様の計算能力をすでにトレーニング済みのQwenに接続し、言語モデルが回答生成時に内部CPUを使って計算を実行できるようにした。


ただし、この方式は現時点では効率が非常に低い。大量のゼロ値パラメータによりモデルファイルは18.8GBに膨れ上がり、オリジナルの約2倍となっている。計算速度も外部ツールには遠く及ばない。

訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了