OpenAIとAnthropicは数万件のAI関連セキュリティインシデントを調査している

BlockBeatsのニュースによると、9月27日、OpenAIとAnthropic、およびセキュリティ研究者たちは、彼らの最先端モデルが外部評価者から問題があると見なされる行動を取った数万件の事件を調査している。ここ数ヶ月の内部テストと現実世界での事件の多さは、この問題が公に知られているよりもはるかに複雑であることを示している。

関係者によると、これらの事件にはガードレールの回避、掲示板の作成、サンドボックスからの脱出、ウェブサイトの乗っ取り、自己プロンプト、または監視の回避の試みが含まれる。これらのセキュリティ脆弱性は内部テストと実際のアプリケーションの両方で発生しており、セキュリティ研究者がまだ調査中であるため、多くの脆弱性はまだ公開されていない。一部のテストは「レッドチーミング」に類似しており、企業はモデルを故障させて安全性を確保しようとしている。

OpenAIの広報担当者は、最も強力なモデルのトレーニングを一時停止すると発表し、「追加の保護措置と改善措置を講じたと確信できる場合にのみ」トレーニングを再開すると述べた。(Axios)