腾讯混元Hy4がオープンソース化：総パラメータ7700億、コンテキスト100万

動察 Beating AI 速報、テンセントがHy4プレビューを発表・オープンソース化。新モデルはMoEアーキテクチャを採用し、総パラメータ770B、毎回のアクティブ化49B、コンテキストは1Mに拡大。Hy3の総パラメータ295B、アクティブ化パラメータ21B、コンテキスト256Kと比較すると、今回の世代は規模が直接2倍以上に拡大し、長文コンテキストも約4倍に拡大した。

テンセントは今回、一般的なベンチマークスコアだけを強調するのではなく、コード、オフィス、ゲーム、研究などの実タスクを特化して強化している。例えば、モデルはゼロからThree.js 3Dウェブサイトを構築でき、Unityでプレイ可能なゲームデモを作成でき、72件の財務ファイルを一度に処理して、重複請求、限度額超過、予算異常をチェックできる。Hy4はWorkBuddy、CodeBuddyなどのテンセント製品とともにトレーニング・反復開発されている。

さらに特別な点として、Hy4はすでに自身の研究開発に参加し始めている。テンセントによると、トレーニング方法、データ戦略、評価体系、基盤オペレーターの最適化を支援し、自ら提案を行い、実験を実行し、結果に基づいて調整を続ける。実験で生成されたコード、ログ、フィードバックは次の研究開発サイクルに入り、すでに初期の自己改善ループが形成されている。

Hy4プレビューはWorkBuddy、CodeBuddy、元宝、ima、テンセントクラウドTokenHub、OpenRouterに接続されている。テンセントは以前の決算発表でHy4がHy3より大きくなると予告しており、実際の製品フィードバックをモデルトレーニングの重要な情報源としている。