動察 Beatingのモニタリングによると、微信チームは自社開発のWeLM大規模モデルの2つの構成を発表しました。WeLM-80Bは総パラメータ800億、毎回30億パラメータのみを活性化し、現在は微信ネイティブAIエージェント「小微」に導入され、チャット検索、微信ネイティブ機能、ミニプログラムサービスの呼び出しを担当しています。
より大規模なWeLM-617Bはまだ開発中で、総パラメータは6170億、毎回230億を活性化し、MoEアーキテクチャを採用しています。微信によると、これは汎用理解力と推論能力を強化し、主にスマートミニプログラム開発や小微向けツール生成など、より複雑な微信エコシステムタスクを対象としています。
テンセントは本日、Q2決算報告でも、小微が微信内で小規模なグレーテストを実施中であり、ユーザープライバシー、微信シーン、推論効率に特化してカスタマイズされたWeLMによって駆動されていると述べています。
WeLM-80Bと617Bは、以前から微信チームの7月のHidden Decoding論文に登場していました。今回、両モデルの製品ポジショニングがさらに明確になりました。80Bはすでに小微に実際にサービスを提供しており、617Bはより複雑なエージェントおよびツール呼び出しタスクを目指しています。