バイトシード再編：事前学習とRLを一本化、オフィスエージェントは独立チームに

動察 Beating AI 速報、字節跳動の大規模モデルチームSeedが新たな組織再編を完了した。Seed Foundation Modelは新たに4つの一級部門を設置し、これまでテキスト、コード、ビジュアル、音声などの方向に分散していたデータおよび後訓練チームを再統合した。核心となる変更は、事前訓練データと強化学習の統一であり、同時に応用後訓練をWorkとChatの2つのラインに分割したことだ。

Pretrain DataはOmniモデルのマルチモーダルデータと超大規模モデルの事前訓練に必要なデータを一元的に担当する。Horizon RLは強化学習に集中し、モデルの基礎能力を向上させる。Product Posttrain-WorkはオフィスおよびB端向けで、モデルのツール呼び出し、コンピューター操作、長期的タスク実行能力の最適化に重点を置く。元のApplicationチームはProduct Posttrain-Chatに改名され、引き続きC端の対話モデルを担当する。4つの部門はいずれも呉永輝に報告する。

これまでSeedはテキスト、コード、ビジュアル、音声などの方向にチームを分け、それぞれがデータと後訓練担当者を有していた。現在、字節跳動は次世代モデルを直接Omniへと進め、異なるモダリティを同一の基盤に統合することを目指している。Seedはこれまでに5兆パラメータを超えるモデルの訓練も議論している。モデルが大きくなり、モダリティが増えるほど、従来の分散型開発方式では重複投資が発生しやすくなる。

同様の調整はテンセントでも行われている。テンセントは7月に混元の大規模言語モデルとマルチモーダルチームを統合し、姚順雨が一元的に担当する。字節跳動は今回、Work後訓練部門を専門に設立したことで、オフィスAgentが基礎モデルチームの独立した最適化対象となる製品ラインになったことを示している。