スマホAgentの集大成がついに登場？DIYgodがPinkyをオープンソース化、iPhoneもAndroidもAIに任せる

動察 Beating AI 速報、RSSHub の作者 DIYgod が Pinky をオープンソース化し、Codex や Claude Code などの AI Agent が実際の iPhone や Android スマートフォンを直接操作できるようにしました。PC 側は Mac、Windows、Linux に対応し、MCP 経由で接続すると、AI は画面を確認し、アプリを開き、タップ、スワイプ、テキスト入力ができます。

これまで多くの iPhone Use プロジェクトを紹介してきましたが、XCTest/WDA のテストインターフェースに依存するもの、Bluetooth でキーボードやマウスを模擬するもの、外部ハードウェアが必要なものなどがありました。Pinky は複数の技術ルートを同じデスクトップツールに統合しています。

Android 側は ADB + scrcpy を採用し、オプションのアクセシビリティ補助アプリと組み合わせて画面のコントロールを読み取ります。Android 13 以降では隠し仮想スクリーンを作成でき、AI がバックグラウンドでアプリを操作している間も、ユーザーは通常どおりスマートフォンを使えます。この部分は以前紹介した Mika に比較的近いです。

iPhone 側はシステムバージョンに応じて異なる方式を選択します。iOS 27 以降では Apple の CoreDevice 開発者プロトコルを直接呼び出し、画面を読み取り、タッチ指令を送信します。テストプログラムのインストールは不要で、技術ルートは Poki に近いです。iOS 17.4 から 26 では引き続き WDA に依存し、Xcode による署名インストールが必要です。

Pinky はさらに AI の誤操作問題にも専用に対応しています。「支払い」「送金」などの機密ボタンを認識し、実際にタップする前に一時停止して、ユーザーの手動承認を待ちます。60 秒以内に確認がない場合は実行を拒否し、承認後も画面を再確認して、金額やボタンが変更されていないかを防ぎます。メッセージ送信やコンテンツ削除も事前確認に設定できます。

この承認機能は制御プログラムに組み込まれており、モデルがプロンプトに従うことに依存しません。銀行、ウォレット、パスワードマネージャーはデフォルトで Agent から隠され、パスワードや認証コードの入力欄も自動入力が禁止されています。ユーザーはいつでも操作を引き継ぐことができ、各ステップは画面録画され、記録は自分の PC に保存されます。

プロジェクト：https://github.com/DIYgod/pinky