lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

AMDが約29億ドルでTaalasの買収を完了:AIモデルをチップに刻み込み、毎秒1.7万トークンを生成

動察 Beating AI 速報、AMD はカナダの AI チップ企業 Taalas の買収完了を発表した。両社は今年8月に合意に達し、取引総額は最大約29億ドル、うち最大14億ドルは所定の条件を満たした場合にのみ支払われる。


Taalas は従来の GPU とはまったく異なる路線を歩んでいる。チップ製造時に、AI モデルのパラメータを直接回路に固定してしまうのだ。


通常の GPU はモデルパラメータを繰り返し VRAM から読み出す必要がある。Taalas はストレージと演算を一体化し、データ転送を削減するとともに、高価な高帯域幅メモリ(HBM)や関連する複雑なパッケージングも不要にした。


今年2月、Taalas は初のチップ HC1 を発表した。Meta の Llama 3.1 8B モデル専用に動作する。公式テストによると、入力と出力がそれぞれ1000トークンの条件で、単一ユーザーの生成速度は毎秒約1.7万トークンに達し、当時の Cerebras の約9倍に相当する。


しかし、この設計は柔軟性を犠牲にしている。通常の GPU は異なるモデルをいつでも読み込めるが、HC1 は LoRA ファインチューニングに対応しているものの、ベースモデルを変更するには製造用フォトマスクを修正し、チップを再製造する必要がある。Taalas が示すサイクルは約2か月だ。


HC1 はさらに大胆な 3-bit および 6-bit 量子化を採用しており、モデルパラメータを大幅に圧縮できる一方で、モデル品質の一部も失われている。現在の毎秒1.7万トークンという成績は Llama 3.1 8B によるものにすぎず、より大規模なモデルでの実際の性能はまだ検証されていない。


AMD はこの技術を将来の AI アクセラレータ製品に取り込み、既存の Instinct GPU と組み合わせて使用することで、専用チップに固定モデルの高頻度推論タスクを担わせる計画だ。

举报 訂正/通報
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了