動察 Beatingのモニタリングによると、Anthropicは新モデルClaude Fable 5の開発におけるセキュリティポリシーを調整し、パフォーマンスを静かに低下させる制限手段を廃止すると発表した。この静かなパフォーマンス低下メカニズムは、コミュニティから「裏切りの破壊行為」と非難され、AI研究コミュニティで強い反発を引き起こしている。
Anthropicの利用規約によれば、ユーザーはClaudeを使用して競合モデルを訓練することはできない。Anthropicは、競合モデルの訓練が疑われるアカウントに対して、ユーザーに通知することなくClaude Fable 5のパフォーマンスを直接低下させる計画だった。AI研究者らは、この静かなパフォーマンス低下が第三者によるセキュリティ評価機関のテスト作業を妨害し、オープンソースコミュニティにおけるAIセキュリティ分野の協力を阻害すると警告している。
コミュニティからの批判を受け、Anthropicは声明を発表し、セキュリティポリシーのバランスを誤った判断をしたことを認めて謝罪し、開発におけるセキュリティ保護メカニズムを公開プロンプトに調整した。システムがユーザーによる高能力AIの構築試行を検出した場合、リクエストを明確に拒否するか、ユーザーを低能力モデルにリダイレクトする。Anthropicは、公開された保護メカニズムは標的にされた回避が容易であるため、今後はセキュリティブロックのフィルター範囲を拡大し、一部の正常で無害なリクエストも誤ってブロックされる可能性があると警告している。