動察 Beating AI 速報、MiniMax が H3-Image を正式に発表し、モデルの重みをオープンソース化しました。これにより、追加の拡大なしで 4096×4096、約1680万画素の画像を直接生成できます。公式データによると、生成時間は10秒未満で、速度は最大で主流製品の5倍に達します。また、テキストから画像生成と画像編集を同じモデルに統合し、最大16枚の参照画像をサポートしています。
H3-Image は H3 動画モデルのアーキテクチャを踏襲し、音声部分を除去し、元のテキストエンコーダーを保持し、画像用にデコーダーを再設計しました。コアとなる画像生成ネットワークは331億パラメータです。蒸留により、1枚の画像生成に必要なサンプリングはわずか6回で、計算ステップを大幅に削減しました。
このモデルは実はすでに8月に予告されていました。8月7日、MiniMax の研究者 Kiro は Reddit AMA で、チームが H3 の同源アーキテクチャから専用画像モデルを開発中で、重みをオープンソース化する計画であることを明かしました。当時は、まず画像モデルで最初のフレームを生成し、それを H3 に渡して動画生成を続けるというワークフローも提案されていました。
コミュニティはさらに MiniMax より先にそれを実現しました。11月3日、Pruna AI はオープンソースの H3 動画モデルに基づいて P-H3-Image を発表し、同様に画像生成と画像修正をサポートしています。Pruna は生成ネットワークを331億から約200億パラメータに圧縮し、必要なサンプリングはわずか8ステップです。最小の量子化バージョンは約20GBで、800万画素の画像を生成する際のピークVRAMはわずか約21GBです。
MiniMax 公式版は331億パラメータの生成ネットワークを保持し、サンプリングをさらに6ステップに圧縮し、より高い解像度とより多くの参照画像をサポートしています。ただし、元の重みに再利用されたテキストエンコーダーを加えると合計約135GBで、明らかに重くなっています。
H3-Image のオープンソース重みのライセンスには制限があります。米国、英国、EU、韓国はコミュニティライセンスの認可地域に含まれていません。企業の年換算売上高が100万ドルを超える場合、または第三者にモデルホスティングサービスを提供する場合は、事前に個別の認可を取得する必要があります。