動察 Beating AI 速報、Gemini Mac クライアントが正式に Computer Use(コンピューター操作)機能を追加しました。これにより Gemini はコンピューター上のソフトウェアやウェブサイトを直接操作し、ボタンをクリックしたり、文字を入力したり、メニューを切り替えたり、フォームに入力したりして、アプリをまたぐ複雑なタスクを完了できるようになりました。
Google はいくつかの実用的な用途を披露しました:Gemini にデザインソフトを操作させて写真を一括で色調整する、ローカルの PDF からサイズや住所などの情報を抽出して物流見積表に自動入力する、あるいはフォルダ内の衣類の写真を分析して中古価格を調べ、商品出品用の資料を準備する、などです。
Gemini は独立したバックグラウンドウィンドウで操作を行い、ユーザーのメイン画面やマウスを占有しません。ユーザーは通常どおりコンピューターを使いながら、リアルタイムプレビューで AI の操作を確認でき、いつでも一時停止し、どのアプリへのアクセスを許可するかを指定できます。
現在、新機能は米国の Google AI Plus、Pro、Ultra の有料ユーザーに段階的に開放されており、Apple シリコン搭載の Mac で macOS 15 以降を実行している必要があります。