CartesiaがH-Netをアップグレード：大規模モデルが自らデータ分割を学習し、トレーニング効率が最大約10倍向上

動察 Beating AI 速報、大規模モデルはすでに言語を自力で学習できるようになったが、テキストをどのようにTokenに分割するかは、通常、事前に訓練されたトークナイザーによって決められている。これにより計算資源を節約できる一方で、モデルが情報を組織する方法が制限される。未知の語彙やコードに遭遇した場合、固定された分割ルールが適切とは限らない。まったく分割せずにバイト単位で直接処理すると、計算コストが大幅に増加する。

AI音声企業Cartesiaが2025年7月に提唱したH-Net（階層型ネットワーク）は、まさにこの矛盾を解決することを目指している。モデルに生のバイトを直接読み取らせ、情報をどのように分割・圧縮するかを自ら学習させる。例えば未知の単語に遭遇した場合、最初は複数の断片に分割されるが、その単語が文脈中で繰り返し出現するにつれて、徐々により少ない断片に統合されていく。この変化は推論時にも発生し、再訓練は不要である。

現在Cartesiaは新版H-Netを公開し、訓練効率が顕著に向上した。主要条件を厳密に制御した実験では、同じ検証損失に到達するのに必要な計算資源が約22%削減され、下流評価の計算効率は約2倍になった。より大規模な実験では、新版H-Netは約1兆Token相当のデータのみで、6項目のテストの平均スコアにおいて約11兆Tokenで訓練されたオープンソースモデルSmolLM3に並び、この成績に必要な訓練計算資源は後者の約10分の1である。

この手法はテキストに限定されない。チームは細菌と古細菌のゲノムでH-Netを訓練し、モデルがヒトの遺伝子断片を処理する際に、コード領域の3塩基ごとの規則を自ら識別できることを発見した。関連するDNAモデリング実験の計算効率は約6〜7倍向上した。

音声はテキストのように既成の単語境界を持たない。Cartesiaが当初H-Netを研究したのは、音声モデルが事前に設計された分割ルールに依存せず、連続する音声から音素や単語を直接学習できるようにするためであった。