阿里のGUIエージェントは第3世代に到達：Qwenがスマートフォン、パソコン、コマンドラインを同時に使いこなすようになった

動察 Beating AI 速報、阿里巴巴が新しいGUIエージェント基盤モデルQwen-UI-Agentを発表。画面を直接見て、ボタンをクリックし、テキストを入力し、スマートフォン、パソコン、ウェブページを操作できる。コマンドライン処理に適したタスクに遭遇した場合は、CLIを直接実行でき、すべてをマウスで少しずつ行う必要はない。

阿里巴巴はGUIエージェントを2年以上開発してきた。2024年のMobile-Agentは主にモデルにスマホのスクリーンショットを見せ、クリックやスワイプを制御させた。その後のGUI-Owl、MAI-UIはGUI操作を直接モデルに訓練させ、パソコンにも拡張した。Qwen-UI-Agentはスマートフォン、パソコン、ウェブページ、DeepSearch、コマンドラインを同じエージェントに統合した。

例えば、高速鉄道の検索、会社までの時間計算、その後DingTalkで会議を設定するなど、複数のアプリをまたいで一気に完了できる。データ分析時には、まずインターネットで情報を検索し、コマンドラインでデータを処理し、最後にExcel、PPT、Wordを生成することもできる。

主力モデルはQwen3.5-27Bを継続訓練して作られた。阿里巴巴が独自に構築した実機評価MobileWorld-Realでは92.2%を獲得し、同じ評価に参加したGPT-5.6 Sol、Claude Opus 4.8、Gemini 3.1 Proを上回った。