動察 Beating AI速報、テンセントの首席AI科学者である姚順雨氏と混元研究チームがRedditで公開Q&Aを開催し、次世代混元モデルの研究開発計画を明らかにした。
ある開発者が、ByteDanceやKimiなどの企業が数兆パラメータの大規模モデルを模索している中、なぜ混元は依然として約7000億パラメータの規模にとどまっているのかと質問した。
テンセントは、小規模でも堅実に訓練されたモデルはより大きなモデルを超えることができ、しかも訓練コストが低いと回答した。しかしチームは依然としてScaling Lawを信じており、次世代Hyモデルはパラメータ規模を大幅に拡大し、既存のHy4も大規模強化学習を通じて能力を向上させ続ける。
テンセントはまた、パソコン上でローカル実行できる小規模モデルのロードマップも明らかにした。Hy4-miniはすでに計画に含まれており、より軽量なFlash-Liteも登場する予定だ。