マイクロソフトCEOナデラ：AIを内部リスクとして防御し、いつでも緊急停止できるよう準備せよ

動察 Beating AI 速報、マイクロソフトCEOサティア・ナデラ氏が長文を発表し、AIモデルを企業内部のセキュリティリスク管理として扱うべきだと主張した。モデルに悪意がなくても、誤りを犯したり攻撃者に利用されたりする可能性がある。特に、機密データを読み取ったり、人間の代わりに重要な操作を実行したりする場合、企業はモデルベンダーのセキュリティ約束だけを信じてはならない。

同氏は、モデルとタスクをスケジューリングするHarness（Agent実行フレームワーク）を分離するよう求めた。モデルがどのデータを読めるか、どのツールを呼び出せるかは、外部システムによって制御されなければならない。重要な操作のたびに、改ざん防止され、人間が審査しやすい記録を残すべきだ。また、モデルの思考連鎖（表示される推論プロセス）の透明性も求めたが、これらの内容が必ずしも信頼できるとは限らないと認めている。

最も強硬な項目は、展開時からモデルが侵害される可能性を想定し、隔離を準備することだ。権限を持つ担当者は、Agentがタスクを実行している際にいつでも一時停止または停止できなければならず、いわば「緊急ブレーキ」を装着するようなものだ。モデルが自らの行為を自己審査することはできず、企業は故障や攻撃を継続的にテストし、事故を適時に開示する必要がある。

マイクロソフトは今月、MXC隔離ツールがWindowsで正式に利用可能になったと発表した。これは外部ポリシーを通じて、Agentがアクセスできるファイルとネットワークを制限する。