AIに宣戦布告？ウルトラマンの隠れ家を焼き払う終末論述

この記事を読むのに必要な時間は 22 分

人類の救済が唯一のガイドラインとなると、行動の境界線は緩くなり始めます

原文のタイトル：「合理」な結論
原著者：ALEXANDER CAMPBELL
翻訳：Peggy，BlockBeats

Editor's Note: On April 10 at 3:45 AM, a 20-year-old individual threw a Molotov cocktail at Sam Altman's residence, then proceeded to walk to the OpenAI headquarters and threatened arson.

This attack quickly sent shockwaves through the tech and investment community. It not only concerned individual safety but also propelled an extreme narrative that had long lingered in texts and online communities into reality.

Starting from the highly deterministic assertion of "AI will lead to human extinction" and proceeding through the reasoning of "we must reduce risks at all costs," this logic gradually slid towards justifying real-world actions. When a worldview continually reinforces its narrative of "existential threat" and reconstructs moral priorities based on this, the boundaries of action are redefined—the once low-cost speech begins to possess executable potential.

This article reviews the evolutionary path within the AI doomsday community: from the "purification spiral" driving escalating risk assessments, to the moral judgment of technologists, and then to simplifying complex reality into the "trolley problem" decision model. These seemingly rational deductions ultimately converge into a coherent yet dangerous mindset: as long as the outcome is defined as "saving humanity," the means can continue to expand.

In this sense, this event is not isolated. It is more like an early stress test—testing not the technology itself but when the narrative, beliefs, and actions surrounding the technology begin to lose restraint.

The following is the original text:

Who is the Arsonist?

On Friday at 3:45 AM, a 20-year-old man threw a Molotov cocktail at Sam Altman's residence. He then walked approximately three miles to the OpenAI headquarters and threatened to burn it down. Currently, he has been arrested by the police for attempted murder.

The poster stated: A person named Daniel Moreno-Gama (online alias dmgama / "Butlerian Jihadist") has been arrested for "attempted murder" and booked by the police. It was also noted that he is an active member of PauseAI. The post cited a sense of urgency he has expressed several times: "We are nearing midnight; it's time to truly take action."

He is not a "lone wolf." He is an active member of PauseAI, holding six roles within the community. His username on Discord is "Butlerian Jihadist."

彼のInstagramはほぼ終末論的なコンテンツに支配されています。能力曲線のキャプション付きの投稿には「すぐに行動を起こさないと、我々は滅びる」とあり、さらには現実を『マトリックス』、『ターミネーター』、『愚か者の進化論』の融合に置くヴィーン図もあります。

攻撃が起こる4か月前、彼はフォロワーにユドコウスキー（Yudkowsky）とソアレス（Soares）の記事「誰かがそれを作ったら、我々はみな死ぬ」を推薦しました。

ブトラー派ジハーディストのIns

「誰かがそれを作ったら、我々はみな死ぬ」は、「AIリスク/AIセキュリティ」陣営に属する強く悲観的な視点を代表する著作で、その核心的な議論は、一旦人類が「超人的知性」（人類を遥かに凌駕するAI）を生み出した場合、それが完全に整列されていない限り、制御を失い、人類にとって存続レベルの脅威となる可能性が非常に高いというものです。著者の立場は非常に過激で、「最も悲観的なタイプ」とさえ言え、AIは「リスクを抱えている」というだけでなく、ほぼ必ず災害をもたらすと考えています。彼は整列問題が解決されるまで、開発を極度に慎重にし、さらには一時停止すべきだと主張しています。

彼の名前はダニエル・モレノ＝ガマです。

彼は自分のSubstackも持っています。今年の1月には、「AI存在リスク」に関する記事を投稿し、「AIによる人類の絶滅」の確率を「ほぼ確実」と推定しています。彼はこの技術を「使用者全員、特にそれを構築中の人々への積極的な脅威」と表現しています。彼の結論は、「この脅威をまず処理し、その後で他の問題を考える必要がある」というものです。

彼はまた、AI開発者の子供が亡くなったという詩を書き、親たちがなぜ何もしないのかを問いただしました。彼はまた、これらの技術を構築する者を以下のように描写しています。「地獄が、このような卑劣な存在に少しは哀れみを示してほしいと願っている。」

PauseAIは、彼の関連する発言をDiscordから削除しました。

私はわかっています。投資ニュースレターとしては、これがほとんどの読者が期待する内容ではないということを。私がこれらを書くのは、自分の世界観がどこから来ているのかを説明し、将来の長期的な判断がより理解しやすくなるようにするためです。提案されている「新しい新しい政策」については、この方向性に直接対応したものです。

私が行ったのは、彼らのモデルを1歩進めて、これらの手掛かりをつなぎ合わせることだけです。

AI終末論者の終末叙事

まずは「確定論」から話しましょう。ユドコフスキー（前述の書籍で言及されている）の立場は、一度非常に強力な人工知能が作られると、地球上のすべての人が死ぬというものです。それは「可能性」ではなく、「たぶん」でもなく、あなたの子供や、彼が何度も言及する娘ニーナも含めて、すべての人が死ぬということです。

彼はこの見解を『TIME』誌に寄稿し、『もしそれが誰かによって作られたら、我々は皆死ぬ』というタイトルの本にも記載しました。彼はさらに、データセンターに対して空爆を行うべきだと主張し、核戦争のリスクは完全なトレーニングランよりも受け入れられるだろうと考えています。

「浄化の螺旋」、つまりエスカレートする過激な行動。このコミュニティ内では、メンバーが自分の「断固たる」姿勢を証明するために、立場の強度を継続的に高めています。「人類絶滅確率（P(doom)）」に対する見積もりは、50%から始まり、90%、そして99.99999%まで急上昇しています。

人工知能安全センター（Center for AI Safety）の全国スポークスマンは以前、カメラの前で適切な対応は「全国の研究所に歩み寄り、それらを焼却すること」だと述べました。PauseAI は、「警告射撃プロトコル」と呼ばれる取り決めすら発動し、あるAIモデルを「絶滅兵器」と認定しました。PauseAIのリーダーの一人は、Anthropicの研究者が「自分に起こるすべてに値する」とさえ述べました。

PauseAIのDiscordでこれらの発言に疑問を呈した際、管理者はその発言を直ちに削除しました。

攻撃が発生する前日、ユドコフスキーの著書の共著者であるネイト・ソアレスは、Altmanが「非常に悪いことをしている」ことをツイートしました。

それから、「安価な発言」は現実の試練を受けることとなりました。

ゲーム理論には「安価な情報」（cheap talk）という用語があります：ほとんどコストのかからない発言ですが、最終的には現実の制約に直面することになります。最初は誰もが低コストで極端な見解を述べていたのですが、問題を「人類の存亡危機」と定義すると、これらの見解が真に受けられ、極端な行動の正当性が与えられる可能性があります。

これらは孤立した出来事ではなく、エスカレートし続け、互いに強化される一連の主張であり、終末論的な思想体系を中心に展開されています。この論理を極限まで追求すれば、「最後の1%を救うために99%の人を犠牲にする」とさえ受け入れられるかもしれません。

状況は、ある人が文字通りに理解し、行動に移すだけの問題に過ぎませんでした。その若者はある本を読み、そのコミュニティに参加し、自らの宣言をしたのです。地元のコミュニティカレッジの英語の授業向けに書いた自己紹介文で、彼は自らを「結果主義者」と定義しました。「結果が合わない限り、動機を信じることはほとんどありません」と述べました。そして、「バトラー聖戦士」と名乗りました。12月3日、彼はPauseAIのDiscordでこう書いています。「私たちは真夜中に近づいています、本当の行動の時が来たのです。」

そして、彼は本当に行動に移しました。

彼らは彼に「路面電車のジレンマ」を与えました：1つの命対全人類。彼はレバーを引いたのです。

上記のツイート（エア・カタカナ）には、ユードコフスキー（yud）がその人の頭に「路面電車のジレンマ」を植えつけたことが記されています：1つのレールにはSam Altmanがおり、もう1つのレールにはSam Altmanを含む全人類がいます。その男は多分、ノーベル平和賞を獲得するつもりだったでしょう。

引用された以下のツイート（ランドルフ・カーター）には、誰かがAIのCEOの家を火炎瓶で襲撃し、直ちにOpenAIに行ってそこの人々を脅迫したとあります。そして「終末論者（doomers）」は言います。「これは誰かかも知れません、私たちもよくわかりません…」

さらに興味深い皮肉が1つあります。もしもこれらの「終末論者（doomers）」が、自らの判断を信じる信念の持ち方に彼らが主張するほど確信しているなら、それらの信念から導かれる意味に率直に向き合うべきです。

襲撃が起きる数週間前、あるジャーナリストがユードコフスキーに尋ねたことがありました。「AIがそんなに危険なら、なぜデータセンターを襲撃しないのですか？」ソアレスを通じて伝えられた彼の答えは、「もし私がそのようなことをしたというニュースを見たら、『ああ、AIは既に阻止されて、私たちは安全だ』と思うでしょうか？もしそうでなければ、あなたは実際、その方法が効果的でないことを知っています」というものでした。

この回答には何も述べられていません。それは「暴力が間違っているから」というわけではなく、「今の方法がうまくいかないから」という理由です。この節制は戦術的考慮に基づくものであり、倫理的拘束ではありません。このコミュニティはそのことをよく理解しています。水面下に潜んでいるのは、はっきりとは述べられていない共通認識です：その若者の最大の「間違い」は、単にタイミングが合わなかっただけなのです。

これこそが私が言いたいことです：知性は権力とは等しくないのです。これこそが「終末論者」の世界観全体の最も根本的な欠陥なのです。

ユードコフスキーの枠組みは矛盾の上に成り立っており、AIが十分に賢ければ人類を滅ぼす能力を必ず持つようになるというものです。「知性は自動的に能力に変換される」という理由で。しかし、彼の多くの信奉者は技術的背景を持っていません。彼らはAIシステムを構築するわけでも、アライメントエンジニアリングに従事するわけでもありません。彼らが持っているのは、特定のタイプの「言語的知性」であり、複雑なリスク論拠を構築し、それに基づいて自らを技術の一種の「神聖な権威」として納得させる能力です。彼らは論拠を構築できるが、システムを構築できないのです。

これは偶然ではなく、彼の基本的なテキストに書き込まれた設定です。ユードコフスキーの「ハリー・ポッターと理性の道」は、推論力が最も優れている人々がすべての制度を凌駕すべきだと描写しています。「シーケンス」は一連の「教義」を提供しており、認識論と倫理において優れた「正しく考える者」の小さな集団が他人が何を建設できるかを決定する資格を与えられており、彼らの合理性がそれを可能にするとされています。これは安全な運動というよりは、起源神話を持つ「神職制度」に似ています。

ユードコフスキーは燃焼瓶を投げるその若者と距離を置くことができますが、それはその三段論法とは距離を置くことができないのです。もし建設者がすべての人を殺すつもりならば、建設者を阻止することは自己防衛なのです。これこそが彼の核心命題であり、率直で明確なものです。問題は常に、誰がそれを真剣に受け止めるかということなのです。

ですから、彼ら自身の論理が夜中の3時45分にガソリンを持って現れたときに、なぜ驚くべきではないかが理解できるでしょう。