Anthropicの新たな安全対策：Claudeは毎回の回答後、バックグラウンドであなたのチャット履歴も審査する

動察 Beating AI速報、Anthropicは「自己評価」と呼ばれる安全メカニズムを公開した。今年6月から、Claudeはユーザーへの回答後、バックグラウンドで直前の会話をチェックし、詐欺やサイバー攻撃などの悪用リスクの有無を判断し、リスクレベルを提示する。ユーザーにはこのステップが見えず、システムもそれによって直ちに回答を遮断することはない。

これまで、Anthropicは主に追加の安全分類器によって違反行為を識別してきた。現在、Claudeは直前に処理した会話のコンテキストを利用して、自ら初步的な審査を完了できる。平均で約10個のトークンを余分に生成するだけで、追加の推論計算資源は2%未満で済む。

このメカニズムはすでに、従来の安全システムが見逃していた問題を発見している。今年8月、単一のAPI顧客が児童性的搾取に関わる10万件以上のリスク警報を引き起こした。9月には、システムが誰かがClaude Codeを利用して恋愛詐欺を自動実行し、数十名の被害者を狙っていることを発見した。Anthropicは調査後に該当アカウントを凍結し、前者の事案を米国の関係機関に報告した。

しかし、Claudeは常に悪意ある行為を見破れるわけではない。Anthropicが通常の防御を無効にした24件のサイバー攻撃テストで、自己評価によるリアルタイム遮断を試みたが、依然として13件の攻撃が成功した。そのため、このメカニズムは現在、主に事後監視に用いられており、ユーザー操作をリアルタイムで阻止するものではない。