CodexもiPhoneを直接操作できるようになった、開発者がツール一式をオープンソース化

動察 Beating AI 速報、元豆包デスクトップ版プロダクトマネージャーの鐘二信氏がiPhone Useをオープンソース化し、Codexが実際のiPhoneを直接操作できるようにした。ユーザーが自然言語でタスクを指示するだけで、Codexはアプリを開き、ページを読み取り、タップし、スワイプし、中国語を入力し、さらにリストの検索や整理もできる。操作プロセス全体はCodexのサイドバーでリアルタイムに確認できる。

プロジェクトの基盤にはAppiumのWebDriverAgent（WDA）を使用しており、これはAppleのXCTestテストフレームワークに基づくスマートフォン自動化ツールである。開発者はまずXcodeを通じてiPhoneにWDAをインストールし、次にMac上のMCPサービスを通じてCodexの指令をスマートフォンに送信し、WDAがタップや入力などの操作を実行する。脱獄は不要で、Appium Serverを別途デプロイする必要もない。

AIがスクリーンショットを繰り返し確認するオーバーヘッドを減らすため、iPhone Useはシステムが提供するUIコントロール情報を優先的に読み取り、ボタンのテキスト、位置、状態を直接認識する。認識できない、または隠れているコントロールに遭遇した場合にのみ、スクリーンショットに戻り、モデルにタップ座標を判断させる。また、連続操作のバッチ実行をサポートし、モデル呼び出し回数を削減する。サイドバーのリアルタイム映像はWDAの独立したスクリーンストリームを通じて取得されるため、スクリーンショットを繰り返し撮る必要がない。

現在、iPhone Useの公式チュートリアルでは依然としてUSB経由でのスマートフォン接続が求められており、初回使用時にはXcodeを通じた署名とWDAのインストールが必要である。Appleはワイヤレスデバッグをサポートしており、WDAもネットワーク経由でアクセス可能だが、このプロジェクトは完全なワイヤレス接続構成方案をまだ提供していない。