動察 Beating AI 速報、AMD はカナダの AI チップ企業 Taalas の買収完了を発表した。両社は今年8月に合意に達し、取引総額は最大約29億ドル、うち最大14億ドルは所定の条件を満たした場合にのみ支払われる。
Taalas は従来の GPU とはまったく異なる路線を歩んでいる。チップ製造時に、AI モデルのパラメータを直接回路に固定してしまうのだ。
通常の GPU はモデルパラメータを繰り返し VRAM から読み出す必要がある。Taalas はストレージと演算を一体化し、データ転送を削減するとともに、高価な高帯域幅メモリ(HBM)や関連する複雑なパッケージングも不要にした。
今年2月、Taalas は初のチップ HC1 を発表した。Meta の Llama 3.1 8B モデル専用に動作する。公式テストによると、入力と出力がそれぞれ1000トークンの条件で、単一ユーザーの生成速度は毎秒約1.7万トークンに達し、当時の Cerebras の約9倍に相当する。
しかし、この設計は柔軟性を犠牲にしている。通常の GPU は異なるモデルをいつでも読み込めるが、HC1 は LoRA ファインチューニングに対応しているものの、ベースモデルを変更するには製造用フォトマスクを修正し、チップを再製造する必要がある。Taalas が示すサイクルは約2か月だ。
HC1 はさらに大胆な 3-bit および 6-bit 量子化を採用しており、モデルパラメータを大幅に圧縮できる一方で、モデル品質の一部も失われている。現在の毎秒1.7万トークンという成績は Llama 3.1 8B によるものにすぎず、より大規模なモデルでの実際の性能はまだ検証されていない。
AMD はこの技術を将来の AI アクセラレータ製品に取り込み、既存の Instinct GPU と組み合わせて使用することで、専用チップに固定モデルの高頻度推論タスクを担わせる計画だ。