iPhone版の豆包モバイルアシスタントが登場した？開発者がOpus 5.5を使ってiPhoneを操作するデモを公開

動察 Beating AI 速報、開発者のFinn Voorhees氏が、iPhoneを直接操作できるAI Agentをデモンストレーションした。彼が一文を送るだけで、Agentに翌日ロンドン行きの最も安いライアンエアーの航空券を検索させた。その後、Agentは自らRyanairを開き、目的地を入力し、日付を選択し、運賃を検索し、最後にチャット画面に戻って結果を報告した。全過程でコンピュータは一切関与していない。

このAgentはFinn氏が開発したiPhoneチャットアプリPiChat上で動作している。基盤には彼が以前オープンソース化したPiDurableKitを使用し、AppleのJavaScriptCoreを通じてスマートフォン上でPi Agentを実行し、モデル呼び出し、ツール実行、タスク管理を担当している。動画で使用されているのはClaude Opus 5.5で、モデルの推論は依然としてクラウド上で行われている。Agentが他のアプリに切り替えても作業を続けられるように、PiChatはAppleのバックグラウンドタスク機構も利用し、SQLiteを通じて実行進捗を保存し、中断後の復元を容易にしている。

最も重要なクロスアプリ制御のコードはまだ公開されていない。動画でiPhone Controlを有効にする際、システムはロック画面のパスワード入力を要求し、XCTest UI自動化を有効にした。XCTestはAppleのインターフェーステストフレームワークで、タップ、スワイプ、テキスト入力をシミュレートできる。オープンソースプロジェクトのTouchSynthesisはXCTestのプライベートインターフェースを利用して、iPhone自身にタッチイベントを生成させ、コンピュータによるリアルタイム制御を不要にしている。ただし、Finn氏はこの方案を使用したかどうかをまだ確認していない。