張一鳴：Seedの訓練データは数桁少なく、字節は早くても2029年にならないとOpenAIやAnthropicと競争できない

動察 Beating AI 速報、張一鳴は最近Seedチームの全体会議でスケジュールを示した。ByteDanceが最速でも2029年から2030年にならないと、最先端AI分野でOpenAIやAnthropicと競争できる見込みはないという。

張一鳴は特に、Seedの大規模言語モデルが使用する事前学習データセットは、トップクラスの競合他社より数桁小さいと指摘した。

ByteDanceは実はAI分野ですでに多くの好カードを手にしている。豆包は国内でユーザー規模が最大のAIチャットアプリであり、Seedanceも世界トップクラスの動画生成モデルの仲間入りを果たしている。しかし汎用言語モデルだけが追いついていない。今年6月にSeed2.1を発表した際、チーム自身も、モデルは高難度のオープンタスクや最先端の科学研究問題において明らかな弱点がまだあると認めていた。

ByteDanceはこのために巨額の資金投入を準備している。今年5月、同社は年間設備投資を最大700億ドルまで引き上げることを検討し、主にAIデータセンターなどのインフラ建設に充てる方針だった。8月にはまた、Seedが最大10兆パラメータの大規模モデルを事前学習中で、その規模は国内で公開されているすべての大規模モデルを上回ると伝えられた。

張一鳴は蒸留による近道にも頼りたくない考えだ。いわゆる蒸留とは、Claudeなどの先行モデルが生成した回答を使って、逆に自社モデルを訓練することだ。今年8月、同氏はこの方法は短期的には確かに性能を改善できるが、学ぶのは結局他人がすでに持っている能力であり、せいぜい絶えず近づくことしかできず、真に超えるのは難しいと明確に述べた。Seed内部ではさらにAPI検出と訓練データのフィルタリングを通じて、第三者モデルの出力が訓練セットに入るのを制限している。

追い上げるため、ByteDanceも人材の採用と定着を続けている。Seedには現在約1000名の研究開発人員がおり、張一鳴が昨年Google DeepMindから引き抜いた呉永輝が率いている。ByteDanceはまた、豆包事業に連動する仮想株「豆包株」を特別に打ち出し、条件を満たす従業員は年末賞与を豆包株で受け取り、事業成長による収益を分かち合うことも選べる。

ByteDanceは今後数週間でMeta Museに似た個人AIアシスタントを投入する計画で、ユーザーが音声とバーチャル形象を通じてAIと対話し、タスクの実行を任せられるようにする。豆包の内部コードネーム「Spell」の個人アシスタントプロジェクトは早くも4月に内部テストを開始したが、その後豆包スマートフォンの発表などの理由で、正式には発表されていなかった。Meta Museの爆発的ヒット後、ByteDanceは進度を速め、国慶節の休暇前から研究開発を急いでおり、Spellと豆包をさらに統合する計画だ。