動察 Beatingのモニタリングによると、OpenAIのオープンソース教育プロジェクト「Plant Talk」は、Realtime API、マルチモーダル視覚モデル、Arduinoマイクロコントローラを統合し、室内植物に環境認識と音声対話機能を提供します。
このプロジェクトでは、PCのカメラとマイクを介して植物と低遅延の全二重音声対話が可能で、Arduinoを通じて静電容量式土壌湿度センサーとLM393光センサーを接続できます。植物のAIキャラクター(デフォルトのGeorgeなど)は、関数呼び出し(Function Calling)を通じてハードウェアデータを取得します。ユーザーが水不足や日照不足を尋ねると、AIはツールを呼び出してリアルタイムの物理指標を読み取り、カメラでキャプチャした画像を組み合わせて植物の乾燥度、分枝数、最大スパンを推定します(25セント硬貨をサイズ比較に使用可能)。そして、擬人化された植物の口調で音声応答を行います。
セキュリティとインターフェース設計において、バックエンドのExpressサーバーは一時的なクライアントキー(Ephemeral Token)を発行し、WebRTC接続を安全にフロントエンドに委任することで、クライアント側でのAPIマスターキーの漏洩を防ぎます。視覚認識と定期的な観測には、Responses APIとZodスキーマを組み合わせて構造化出力を実現しています。コードベースには、AIエージェント向けの操作ガイド「AGENTS.md」も組み込まれており、AIアシスタントがユーザーを段階的にソフトウェア環境の設定とハードウェアの組み立てに導くことができます。