豆包が自分でマウスをクリックし始めた：Windows版で直接ソフトウェアを操作可能に

動察 Beating のモニタリングによると、豆包の「業務タスク」はWindows上で仮想デスクトップを新たに追加した。「パソコン操作」を有効にすると、豆包はソフトウェアのインターフェースを理解し、自分でマウスを動かし、ボタンをクリックし、内容を入力して、直接ユーザーのパソコン上でタスクを完了できる。

使用中のマウスやキーボードを占有することはない。ユーザーは通常通りパソコンを操作でき、豆包は同時に別のデスクトップで作業を進める。プロセス全体はリアルタイムで確認でき、いつでも一時停止したり直接引き継いだりすることも可能だ。

これにより、豆包はより多くの一般的なソフトウェアを操作できるようになる。MCP、API、プラグイン、CLIがなくても、ソフトウェアにグラフィカルインターフェースがあれば、豆包はインターフェースの認識、クリック、入力によって操作を完了でき、複数のソフトウェアにまたがって連続的にタスクを実行することもできる。