動察 Beating AI 速報、独立開発者の王賛氏がMikaというAndroid向けAIアシスタントをオープンソース化した。WeChatや小紅書などのアプリを直接操作でき、ユーザーのチャット履歴の整理やメッセージ送信を支援する。
作者は、MikaにバックグラウンドでWeChatのグループチャットを閲覧させ、チャット履歴を要約させ、さらにWeChatのファイル転送アシスタントにメッセージを送信させるデモを行った。その間、ユーザーはメイン画面で他のアプリを使い続けることができ、画面をAIに譲る必要はない。
豆包スマホアシスタントはスマホメーカーが提供するシステムレベルの権限に依存しているが、MikaはAndroidのワイヤレスデバッグを通じてShell権限を持つ補助プロセスを起動し、一般のスマホ上に見えない仮想スクリーンを作成して、WeChatなどのアプリをその上で動作させる。AIはアクセシビリティサービスを通じてボタン、テキスト、入力欄を読み取り、クリック、スワイプ、入力を行う。コントロールを認識できない画面に遭遇した場合は、ローカルOCRまたは視覚モデルで画像を見て操作する。
Mikaの初回利用時には、開発者オプションを有効にし、ワイヤレスデバッグのペアリングを完了し、アクセシビリティサービスを許可する必要がある。モデルはAPIを自行設定でき、ChatGPTアカウントでのログインにも対応している。実行時にPCへの接続は不要で、PC上のCodexなどのツールからMCPを通じてタスクを派遣することもできる。
Android 12以降でアプリ間操作機能が利用可能。Android 14では、Mikaは仮想スクリーンの独立したフォーカス機能を活用し、バックグラウンド操作時にメイン画面の入力フォーカスを奪わない。