脱獄不要、iPhoneにアプリをインストールせずに、オープンソースプロジェクトPokiがAIにあなたのiPhoneを直接操作させます

動察 Beating AI 速報、開発者のJoseph ZhouがPokiをオープンソース化し、CodexやClaude CodeなどのAI Agentが実際のiPhoneを直接操作できるようにした。

現在、iPhone Useプロジェクトは数多く存在し、XCTest/WDA経由でテストプログラムをインストールするものもあれば、外部ハードウェアに頼って操作をシミュレートするものもある。

Pokiは別のルートを採用している。Appleのデバイス開発者サービスを直接呼び出し、iPhoneネイティブのアクセシビリティコントロールツリーを読み取り、ボタン、テキスト、位置を取得したうえで、スマートフォンにタップ、スワイプ、入力、さらにはピンチズームなどの指令を送信する。

これによりAIは毎ステップのスクリーンショットから座標を推測する必要がなく、iPhoneにテストプログラムをインストールする必要もない。初回にUSBでペアリングすれば、同一LAN内でワイヤレス操作も可能になる。

MCP経由でCodexやClaude Codeに接続できるほか、PokiにはMac上で動作するAgentが内蔵されており、ターミナルやiMessageからタスクを指示できる。正常に実行・検証済みの操作フローを記憶し、次回同じタスクに遭遇した際に直接再利用でき、一部のタスクではモデルを再度呼び出す必要すらない。ただし、Macは稼働し続ける必要がある。

実機操作は現時点ではまだ比較的遅い。作者がiOS 27.3を実行するiPhoneでテストしたところ、チャットアプリの検索ボックスに対して、テキストタップを連続12回すべて有効にしたが、1回あたり約8秒かかった。入力欄の記入には約15秒かかり、一部のボタンは依然として正常にタップできない。

Pokiの強みはシステムコントロールを直接読み取れること、ワイヤレス操作とマルチタッチをサポートすることだが、完全なXcode、開発者モード、UI Automationが必要となる。基盤はAppleの開発者インターフェースに依存しているため、将来のシステムアップグレードが互換性に影響を与える可能性もある。