lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

オープンソース版「豆包スマホアシスタント」が登場:バックグラウンドでWeChatを操作でき、スマホの閲覧を妨げない

動察 Beating AI 速報、独立開発者の王賛氏がMikaというAndroid向けAIアシスタントをオープンソース化した。WeChatや小紅書などのアプリを直接操作でき、ユーザーのチャット履歴の整理やメッセージ送信を支援する。


作者は、MikaにバックグラウンドでWeChatのグループチャットを閲覧させ、チャット履歴を要約させ、さらにWeChatのファイル転送アシスタントにメッセージを送信させるデモを行った。その間、ユーザーはメイン画面で他のアプリを使い続けることができ、画面をAIに譲る必要はない。


豆包スマホアシスタントはスマホメーカーが提供するシステムレベルの権限に依存しているが、MikaはAndroidのワイヤレスデバッグを通じてShell権限を持つ補助プロセスを起動し、一般のスマホ上に見えない仮想スクリーンを作成して、WeChatなどのアプリをその上で動作させる。AIはアクセシビリティサービスを通じてボタン、テキスト、入力欄を読み取り、クリック、スワイプ、入力を行う。コントロールを認識できない画面に遭遇した場合は、ローカルOCRまたは視覚モデルで画像を見て操作する。


Mikaの初回利用時には、開発者オプションを有効にし、ワイヤレスデバッグのペアリングを完了し、アクセシビリティサービスを許可する必要がある。モデルはAPIを自行設定でき、ChatGPTアカウントでのログインにも対応している。実行時にPCへの接続は不要で、PC上のCodexなどのツールからMCPを通じてタスクを派遣することもできる。


Android 12以降でアプリ間操作機能が利用可能。Android 14では、Mikaは仮想スクリーンの独立したフォーカス機能を活用し、バックグラウンド操作時にメイン画面の入力フォーカスを奪わない。

訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了