AI絶滅論が話題になった後、Anthropicは外部審査員に従業員並みの権限を与えた

動察 Beating AI速報、Anthropicの元研究者Jacob Coxonの辞職投稿が3日余りで1.6億ビューに達し、AI絶滅リスクが今週急速にアメリカの主流世論の場に飛び込んだ。OpenAIの首席科学者Jakub Pachockiは以前から、必要なら同業者と協調して減速するよう呼びかけていた。Coxonが話題沸騰した後、Sam Altmanは内部で他のラボと一緒に研究開発を遅らせる用意があると述べ、OpenAIも強制的な全国AI安全規制を推進し始めた。

今、Anthropicも具体的な動きを見せている。同社は第三者安全チームを長期的に常駐させ、彼らに執務スペース、入退室権限、会社のパソコン、そして内部リスク評価チームに近いツールと権限を与えると約束した。彼らは訓練プロセス、安全対策、事故を検査でき、独立して外部に結論を公表できる。Anthropicは安全、法律、顧客プライバシーに関わる情報を削除できるが、結論が見苦しいからといって削除することはできない。Anthropic CEOのDarioは、このやり方は現在のどのAI企業よりも踏み込んでいると述べた。

Darioの「減速」に対する態度も変わった。彼は、2023年に業界がAIの一時停止を議論した時、自分はまだ意味がないと感じていたと語った。今やAIは次世代AIの研究開発にますます参加し、能力の進歩が加速し始めており、安全研究だけでは不十分で、モデル能力そのものも遅くすべきだと考えている。

彼はまた、OpenAIのHugging Face制御不能事件を名指しし、現在の速度で進めば6～12か月後には、同様のAgent群が広範囲のインターネットシステムを覆うボットネットを構築できる能力を持ち、数千億ドルの損失を引き起こす可能性があると警告した。次のステップとして、アメリカなどの民主主義国の主要AI企業が安全基準と研究開発速度を統一し、その後中国と全球のAI発展速度を調整することを試みたいと望んでいる。ただし、先端チップとモデル蒸留は引き続き制限し、アメリカが減速しつつも優位を保てるようにすべきだ。