Instinctは3週間で40%のユーザーのクレジットカード権限を取得し、創業者は初期バージョンにファイアウォールがなかったことを認めた。

動察 Beating AI 速報、Instinct 創業者の Noah Shinn 氏が明らかにしたところによると、約40%のユーザーが製品を3週間使用した後、Instinct が自身のクレジットカードを使用し、Agent に購入を自律的に完了させることを許可する。彼らはまた、「クレジットカード、アカウントパスワード、その他の機密情報を初めて提供するまでの期間」をユーザー信頼の指標としている。

ユーザーが Instinct に少なくとも1つの機密情報を連携すると、継続利用率は約80%となる。Shinn 氏によると、ユーザーは通常数週間かけて徐々に信頼を構築する必要があり、Instinct は最初からすべての権限を引き渡すよう求めることはなく、すでに共有されたデータもいつでも回収できる。

しかし Shinn 氏は同時に、Instinct の初期バージョンには現在のようなファイアウォールや能動的監視がなく、いくつかのエラーも発生したことを認めている。その後、会社は単一の問題に対処するパッチではなく、新たなセキュリティシステムを再構築した。現在、Agent に処理させる予定のすべてのテキストや画像などのコンテンツは、まず独立した「ファイアウォール」による検査を経る。Agent が実行しようとするアクションと一部の推論プロセスも、別のシステムで監視され、実際に実行する前に一時停止または遮断することができる。

あるユーザーは以前、Instinct が自分が一度もアップロードしたことのない財務ファイルを突然処理し始めたことに気づいた。Shinn 氏は後に、これはモデルが情報を捏造した後にさらに説明を捏造し続けたことによるハルシネーションであり、ユーザーデータの漏洩は発生していないと回答した。Instinct はその後、独立したハルシネーション検出システムを導入し、Agent が推論を続けたりツールを呼び出したりする前に異常を検査・遮断するようにした。