lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

OpenAIが「Plant Talk」をオープンソース化:マイクとセンサーを接続して、鉢植えとリアルタイムで会話できるように

動察 Beatingのモニタリングによると、OpenAIのオープンソース教育プロジェクト「Plant Talk」は、Realtime API、マルチモーダル視覚モデル、Arduinoマイクロコントローラを統合し、室内植物に環境認識と音声対話機能を提供します。

このプロジェクトでは、PCのカメラとマイクを介して植物と低遅延の全二重音声対話が可能で、Arduinoを通じて静電容量式土壌湿度センサーとLM393光センサーを接続できます。植物のAIキャラクター(デフォルトのGeorgeなど)は、関数呼び出し(Function Calling)を通じてハードウェアデータを取得します。ユーザーが水不足や日照不足を尋ねると、AIはツールを呼び出してリアルタイムの物理指標を読み取り、カメラでキャプチャした画像を組み合わせて植物の乾燥度、分枝数、最大スパンを推定します(25セント硬貨をサイズ比較に使用可能)。そして、擬人化された植物の口調で音声応答を行います。

セキュリティとインターフェース設計において、バックエンドのExpressサーバーは一時的なクライアントキー(Ephemeral Token)を発行し、WebRTC接続を安全にフロントエンドに委任することで、クライアント側でのAPIマスターキーの漏洩を防ぎます。視覚認識と定期的な観測には、Responses APIとZodスキーマを組み合わせて構造化出力を実現しています。コードベースには、AIエージェント向けの操作ガイド「AGENTS.md」も組み込まれており、AIアシスタントがユーザーを段階的にソフトウェア環境の設定とハードウェアの組み立てに導くことができます。

訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了