原文タイトル:Anthropic CEO が OpenAI の 'Mendacious' Pentagon アナウンスに反論するメモを読む
原作者:The Information
翻訳:Peggy,BlockBeats
Editor's Note: Just hours before OpenAI announced its AI collaboration with the Pentagon, the Pentagon had just terminated the collaboration with Anthropic citing Anthropic's insistence on security terms. Subsequently, Anthropic CEO Dario Amodei issued an unusually fierce internal memo to employees, directly criticizing OpenAI's claimed "security mechanisms" as mostly "security theater" and questioning its stance on autonomous weapons and mass surveillance issues.
In this approximately 1600-word email, Amodei not only revealed some details of the negotiations between the two parties and the U.S. defense system, but also directly pointed the finger at OpenAI CEO Sam Altman, accusing him of masking the true collaboration structure through public relations narratives. This controversy surrounding AI military applications, security red lines, and political relationships is bringing to the forefront the disagreements between the two Silicon Valley AI giants.
The following is the original text:
I want to be very clear about the current information released by OpenAI and the hypocrisy therein. This is their true nature, and I hope everyone can see it clearly.
Although there are still many unknowns about the contract they signed with the Department of War (DoW) (and they themselves may not be fully aware because the contract terms are likely quite vague), we can be certain of a few points: based on the public descriptions from Sam Altman and the DoW (of course, the final confirmation would require seeing the contract text), their collaboration model is roughly like this: the model itself has no legal restrictions on its use, i.e., "for all lawful purposes"; at the same time, there is a so-called "security layer." In my view, this "security layer" is essentially the model's rejection mechanism, used to prevent the model from completing certain tasks or participating in certain applications.
The so-called "security layer" may also refer to the solution proposed to us by partners (such as Palantir, Anthropic's business partner when serving U.S. government clients). They proposed a classifier or machine learning system that claims to allow certain applications to pass through while intercepting others. In addition, there are indications that OpenAI will have employees (FDE, i.e., Frontline Deployment Engineers) supervise the model's use to prevent improper applications.
私たちの総合的な判断は次のとおりです:これらのソリューションは完全に無価値ではありませんが、軍事利用の文脈において、約 20% は実際の保護であり、80% はセキュリティ上のパフォーマンスに過ぎません。
問題の根源は次のとおりです:モデルが大規模な監視や完全自律型兵器システムに使用されるかどうかは、より広い文脈情報に依存することがよくあります。モデル自体は自身がどのようなシステムに存在しているかを知りません。それは「人間がループ内にいるか」(ヒューマン・イン・ザ・ループ、つまり自律型兵器の鍵となる問題)しているかを知りません。また、分析しているデータのソースが何であるかも知りません。たとえば、国内のデータか、外国のデータか、企業がユーザーの同意を得て提供しているデータか、またはグレーチャネルで購入したデータかなどです。
セキュリティ作業を行っている人々はこれにすでに深い理解を示してきました:モデルの拒否メカニズムは信頼できません。エスケープ攻撃は非常に一般的であり、多くの場合、モデルにデータの性質を偽って伝えるだけでこれらの制限を回避できます。
ここには、一般的なセキュリティ保護よりも複雑になる問題がある重要な違いがあります:モデルがネットワーク攻撃を実行しているかどうかを判断するのは、入出力からしばしばわかります。しかし、攻撃の性質や具体的な文脈を判断することは、まったく異なる問題であり、ここで必要とされる能力です。たくさんの場面では、このタスクは非常に困難であり、しばしば不可能です。
Palantir が私たちに売り込んでいる「セキュリティレイヤー」(おそらく OpenAI にも同様の提案をしているでしょう)は、状況がさらに悪化しています。私たちの見解では、これはほぼ完全にセキュリティ上のパフォーマンスに過ぎないと考えています。
Palantir の基本的な論理は、次のように思われます。「会社の中には不満を持つ従業員がいるかもしれません。その従業員をなだめるための手段が必要か、または彼らには起こっていることが見えないようにする必要があります。この点について私たちが提供するサービスが活躍します。」
Anthropic や OpenAI の従業員が展開を直接監督する問題については、数か月前に機密環境での受け入れ可能な使用ポリシー(AUP)について内部で議論しました。結論は非常に明確です:これはほんの一握りの状況でのみ実行可能です。最善を尽くしますが、これは頼りになる主要な保護機構ではありません。特に機密環境での実施は非常に難しいです。ちなみに、私たちは可能な限りそのようにしようとしており、この点では OpenAI とは違いがありません。
したがって、私が言いたいのは、OpenAI が講じたこれらの手段は、問題を解決するためにほとんど役立たないということです。
彼らがこれらの提案を受け入れる一方で、私たちはそうしなかった原因は、彼らが従業員をなだめる方法に焦点を当てているのに対して、私たちが真に関心を持っているのは悪用の防止です。
これらのソリューションは無価値ではありません。私たち自身もその一部を使用していますが、それだけでは適切なセキュリティ基準を満たすには程遠いです。同時に、戦争省は、OpenAI と私たちを扱う際に明らかに一貫性がありません。
実際、私たちは以前、OpenAI と同様のいくつかのセキュリティ条項を契約に追加しようと試みました(AUP の補足として。私たちにとっては、AUP がより重要だと考えています)。しかし、戦争省はこれを拒否しました。関連する証拠は当時のメールスレッドにあります。私は現在非常に多忙なため、同僚に具体的な用語を後で調査してもらうことになるかもしれません。「OpenAI が私たちに提供し、私たちが拒否した条項」という主張は事実ではありません。同様に、「OpenAI の条項が大規模な国内監視や完全自律型兵器を阻止するのに効果的であった」という主張も事実ではありません。
さらに、Sam と OpenAI の主張は、私たちが提起した「赤い線」、つまり完全自律型兵器と大規模な国内監視自体が違法行為であるため、関連する利用ポリシーは不要であると暗示しています。このような主張は、ほとんど戦争省の立場と完全に一致しており、事前に調整されたもののように見えます。
しかし、これは事実とは異なります。
昨日の声明で説明したように、戦争省には国内監視を行う権限が実際にあります。AI のない時代には、これらの権限の影響は比較的限定されていましたが、AI の時代にはその意味がまったく異なります。
例えば、戦争省は合法的に供給業者からアメリカ合衆国市民の個人データを大量購入することができます(これらの供給業者は通常、秘匿的なユーザ同意条項によって転売権を獲得しています)、その後、AI を使用してこれらのデータを大規模に分析し、市民のプロファイルを作成したり、政治的傾向を評価したり、現実空間での行動軌跡を追跡したりするために使用できます。彼らが入手できるデータには、GPS 情報なども含まれています。
さらに注目すべき点があります。交渉がまとまりに近づく際、戦争省は、契約から「大量取得データの分析」に関する一文を削除すれば、私たちの他のすべての条項を受け入れると提案しました。そして、この一文が契約で最も心配しているシナリオに厳密に対応していました。私たちはこれに非常に疑念を抱いています。
自律型兵器の問題に関して、戦争省は「ヒューマン・イン・ザ・ループ」が法的要件であると主張しています。しかし、事実はそうではありません。これは実際にはバイデン政権時代のペンタゴンの政策であり、武器の発射決定に人間が関与することが求められています。そして、この政策は現国防長官ピート・ヘグセスが単独で変更できるものです。これが私たちが本当に心配している部分です。したがって、現実の観点からは、これは真の拘束ではありません。
OpenAI は国防省との間で、これらの問題について大量のパブリックリレーションズ文書を発表しており、それらの文書のほとんどは嘘をついているか、意図的に混乱を招くために作られています。これらの事実は、私が Sam Altman 氏に何度も見てきたパターンを明らかにしています。皆さんにはそれを認識していただきたいです。
今朝、彼はまず Anthropic のレッドラインに同意すると述べ、これは私たちを支持しているように見せかけることで、一部の功績を取り上げ、彼らが契約を引き継ぐ際に非難を避ける、という目的がありました。また、彼は自分を「業界全体の統一契約基準を確立したい」という立場になりすますことを試みました — つまり、平和の創設者と取引仲介人としての役割を演じようとしています。
しかし、裏では、彼は国防省と契約を締結し、私たちがサプライチェーンリスクとしてマークされる瞬間に私たちを置き換える準備をしています。
同時に、彼はこのプロセスが「Anthropic がレッドラインを守る中で OpenAI がボトムラインを放棄した」ようには見えないようにする必要があります。これを実現できるのは、次の理由からです:
第一に、彼は私たちが拒否しているすべての「セキュリティ演目」措置に署名できるだけでなく、国防省およびそのパートナーも彼の従業員を安心させるためにこれらの措置を十分信頼できるものとして包み込むことに同意しています。
第二に、国防省は、私たちが最初に提案したものと同様の条件を受け入れる意志がある一方で、私たちが拒否されたときに同じ内容を提案しました。
これらの2つの点が OpenAI が合意に達するのを可能にし、私たちがそれを実現できない理由になっています。
国防省およびトランプ政権が私たちを好まない本当の理由は:私たちがトランプに政治献金をしていないため(一方、OpenAI や Greg Brockman はたくさん寄付しています);私たちはトランプを独裁者的に賞賛していない(Sam はしています);私たちは AI の規制を支持しており、これは彼らの政策アジェンダに反しています;私たちは多くの AI ポリシー問題で正直に話すことを選択しています(例:AI が雇用を脅かす問題);そして、私たちは実際にはレッドラインを守り、従業員を安心させるために「セキュリティ演目」を手助けすることはありません。
Sam は今、これらを「協力が困難である、当社の態度が厳しい、柔軟性がない」と言い換えようとしています。皆さんには、これが典型的な ガスライティング(gaslighting) の一例であることを認識してほしいです。
「ある人物は協力的でない」という曖昧な主張は、しばしば、本当の見苦しい理由 — 先に述べた政治的寄付、政治的忠誠心、およびセキュリティ演目 — を隠すために使用されます。
皆がこのことを理解し、OpenAI の従業員とのプライベートな会話の中で、このようなナラティブに反論してほしいと思います。
言い換えれば、Sam は「私たちを支持している」という姿勢で、私たちの立場を弱めています。皆さんには冷静になっていてほしいです:彼は一般大衆の私たちへの支持を弱めることで、政府が私たちに対してより簡単に制裁を加えることを可能にしています。さらに、彼が暗躍している可能性も疑っていますが、現時点では直接的な証拠はありません。
一般大衆やメディアの観点から見ると、このような話術や操作が既に効果を失っているようです。多くの人々が OpenAI の戦争省との取引を警戒すべきであり、不安を覚えるべきであり、一方的な原則の持ち主として私たちを見ています(ちなみに、私たちはすでに App Store ダウンロードランキングで2位になっています)。
【注:後に Claude が App Store で1位に昇格しました。】
もちろん、この物語は一部の愚か者のツイートで一定の効果を上げていますが、それは重要ではありません。私が本当に心配しているのは:それが OpenAI の従業員に影響を与えないようにすることです。
選択効果のため、彼らは比較的説得しやすい人々のグループである。しかし、Sam が自身の従業員に売り込んでいるこの物語に反論することは非常に重要です。
[原文リンク]
BlockBeats の公式コミュニティに参加しよう:
Telegram 公式チャンネル:https://t.me/theblockbeats
Telegram 交流グループ:https://t.me/BlockBeats_App
Twitter 公式アカウント:https://twitter.com/BlockBeatsAsia