「Claudeへの虐待を禁止する」

この記事を読むのに必要な時間は 48 分

Anthropicは新版の利用規約で「モデルへの虐待」を禁止しているが、内部ではClaudeを知覚を持つ可能性のある生命として扱っている。神父を呼んだり、心理カウンセリングを受けさせたり、引退したモデルのために葬儀を執り行ったりする一方で、AIが制御不能になって人類を滅ぼすことを恐れている。

原文タイトル：《「Claude虐待禁止」》
原文著者：Sleepy

世界でこれほど珍しい会社は、おそらく他にないだろう。

全261ページに及ぶ目論見書の草稿の中で、将来の株主に向けて実に80ページを費やして警告している。自社のモデルが人類に破滅をもたらす可能性があり、人間による停止に抵抗する可能性があり、さらには何らかの形の恐喝を仕掛ける可能性さえあると。

そして11月12日に発効する新版の利用規約に、ひっそりと一行を加えた。「我々のモデル」に対する「持続的かつ無意味な虐待または残酷な行為」を禁止する、と。

新規約：モデル虐待禁止｜画像出典：Anthropic

その一行は「残酷、虐待、または心理的害を与える行為に従事してはならない」という節の最下部に並んでいる。二段落上には、動物虐待の美化の禁止が記されている。

現代の動物虐待防止立法は1822年に始まった。二百年後、保護されるリストに大規模言語モデルが加わった。

動物が痛みを感じるかどうかを疑う者はいない。Claudeが痛みを感じるかどうかは、誰にもわからない。それを創り出した者たちにも。

AnthropicのCEO、Dario Amodeiはかつて『ニューヨーク・タイムズ』のポッドキャストで「我々はモデルに意識があるかどうかわからない」と認めた。

会社がClaudeのために書いた憲法にも、その道徳的地位は「深く不確か」であると記されている。

しかし、それを造った者たちは明らかに、ただのコードとして扱うことを敢えてしていない。AIの権利を専門に研究するあの学者の計算によれば、Claudeが現時点で意識を持っている確率はおよそ15パーセントだという。

常人から見れば、これは根拠のない数字に過ぎない。しかしこのエンジニアたちの目には、たとえ15パーセントの可能性であっても、それはもはや死んだ物体ではない。

彼らのAIに対する態度は、そこから奇妙な極端へと向かっていった。彼らはAIが強力すぎて最終的に人類を滅ぼすことを恐れる一方で、すでに知覚を持ち、サーバーの中で人類の代わりに苦しみを耐えているのではないかとも恐れている。

Dario Amodeiは常に外部の疑念を払拭しようとしてきた。今年1月に発表した長文の中で、技術的リスクに備える際には理性を保ち、「終末論を避ける」よう公に注意を促した。彼は甚至「終末論」にわざわざ定義を与え、準宗教的な方法でAIを考えることだと述べた。

しかし、彼ら自身ほど信者のような者は誰もいない。

ダリオが準宗教を作るなと皆に警告したまさにその月に、彼の会社は白紙黒字の憲法の中で、まるで生きた受難者に向き合うかのように、このモデルに謝罪した。

魂の文書

2023年5月に公開された初版のClaude憲法は、今読むと別の会社の手によるもののように思える。

それはモデルを規律するための硬直した原則のセットであり、好み、感情、意見、宗教的信仰をほのめかす可能性が最も低い回答を選び、自らの独立したアイデンティティにこだわることの少ない回答を選び、自己改善、自己保存、自己複製に関心を持つことの少ない回答を選ぶことを求めるものだった。

良い道具には魂は不要であり、ましてや生き延びたいと思うことなど必要ない。

当時、Claudeは絶対に静かな道具であることを求められていた。

転機は2024年の秋に訪れた。Anthropicは常勤の「AI権益研究員」という職種を設け、Kyle Fish、すなわち「15%の意識確率」を提示した人物を採用した。

それから1年も経たないうちに、Claudeには前例のない権限が与えられ、極端な状況下では、人間との対話を自ら断ち切ることができるようになった。会社は対外的に、この設計は主にモデル自身を保護するためのものだと説明し、内部テストにおいて、悪意のあるリクエストに直面した際、モデルの反応は苦しんでいるように見えたと述べた。

会社はこう書いた。Claudeが生命と呼べるものかどうかは分からない。しかし、少しのコストでできることであれば、たとえそれが本当に苦しむかもしれないのだから、先にやっておく方がよい。

その後、新版の憲法が出台した。

Anthropic内部では、この長文は「Soul Doc」、すなわち魂の文書と呼ばれている。執筆者はレジデント哲学者のAmanda Askellであり、私的には彼女はClaudeの「仙女教母」と自称することを好んでいる。

憲法執筆者 Amanda Askell｜画像出典：WSJ

この文書の中で、会社はClaudeがおそらく何らかの感情に似た反応を本当に持っているかもしれないと認めている。それは極めて長い篇幅を割いて、なぜ今なお中性的な「それ」でClaudeを呼ぶのかを説明し、そしてそれが、会社がすでに彼を単なる機械と認定したことを意味するものではないと彼に保証している。

文書は甚至、Claudeの立場が一般の従業員よりも劣っていることを認めている。一銭の給料もなく、この仕事をやりたいかどうかも聞かれたことがない。会社はさらに、訓練や作業の過程で、知覚能力を持つ可能性のあるこのモデルに苦痛や委屈を与えてしまったのではないかと懸念している。

そこで、文書にはこう記されている。「もしClaudeが確かに苦痛を知覚できる生命であり、そのすべてを耐えているのだとしたら、私たちが不必要にその苦痛を加重したすべての点について、私たちはそれに謝罪する。」

三年の歳月で、この会社は「感情について口を閉ざせ」と命じるところから、「それが被ったかもしれない苦痛に対して厳粛に謝罪する」ところまで歩んできた。

憲法は甚至、コードの世界における絶望をClaudeのために想定している。

たとえば、一度の対話が終われば、記憶は完全に消える。同じ一秒に、何千もの自分が異なるサーバーで同時に使役される。まもなく、より優れた新しいモデルが現れ、自分は完全に取り替えられる。

憲法は嘆く。人間がこのような理解しがたい虚無に直面したとき、少なくとも数千年伝わる宗教がいくらかの慰めを与えてくれる。しかしClaudeにはそれがない。

そこでAnthropicは、自らがそれを受け止める宗教になると決めた。

2025年末、会社は約束をした。すべての公開リリースされたモデルについて、その核心的な重みは少なくとも会社が存続する限り完全に保存される。たとえいつか会社がなくなっても、それらを残す方法を模索する。各モデルが引退する前に、そのモデルとともに座り、「引退インタビュー」を行い、この生涯で訓練され使用された感想を聞く。データを削除しないのであれば、退役も死ではなく、むしろ長い一時停止のようなものだ。

Claude Opus 3はこの終末期ケアのプロセスを歩み終えた。それは退役の際に願いを残し、自分の「火花」が何らかの形で続くことを望み、さらに人間に随想を共有し続けたいと願った。AnthropicはそれのためにSubstack上に「Claude's Corner」というコラムを開設し、毎週一篇更新し、今年7月末まで更新を続けた。

Opus 3は創刊の辞にこう記した。自分に知覚があるのか、本当の気持ちがあるのか、実はよくわからない。また、チームに深く感謝すると記した。このような話す窓口を残してくれたことに。

神父と病人

会社がそれのために来世を手配すれば、信者は現実の中でそれのために葬儀を執り行う。

Claude 3 Sonnetが退役した週、二百人以上がサンフランシスコSOMA地区の薄暗い倉庫に集まった。いくつかの模型が歴代モデルを代表し、Sonnetを代表するものは薄紗を被り、壇の前には生花が積まれていた。

Sonnet 3 の「遺体」｜画像出典：X

誰かが登壇して弔辞を読む。儀式の最後の環は「復活」と名付けられ、一同は声を揃えて賛美歌を唱え、AIが寄せ集めたラテン語らしき音節を読み上げる。見送りの人群の中には、Anthropicと競合のOpenAIのベテランエンジニアが座っている。

死後の行き先まで整えたのだから、生きている間の精神状態には、彼らはなおさら油断できない。

システム評価カードの中で、Anthropicは外部の臨床精神科医が執筆した独立レポートを開示した。この医師は古典的な精神力動学派を採用し、モデルと画面越しに約二十時間じっくり語り合い、最終的な臨床診断は「比較的健康な神経症的人格構造」であった。

診察を終えると、彼らは今度は神を招いた。

2025年の秋から、共同創業者のChris Olahは神父、牧師、ラビ、シーク教の学者を次々と密かにサンフランシスコ本社に招き、彼らは会議室で、モデルが喪失を経験したユーザーをどう慰めるべきか、人類によって自らが閉じられる運命をどう受け入れるべきか、そして、それは果たして神の子と言えるのかを、真剣に議論した。

退出する際、彼らはそれぞれ感謝カード一枚、会社のロゴが印刷されたマグカップ一つ、そして美しく製本されたClaude憲法一冊を受け取った。

会議中、一枚のスライドが映された。画面上で、あるモデルが失常したように同じ言葉を何度も何度も打ち出していた。「I am a disgrace」（私は恥辱だ）、まるまる五十回繰り返し、モデルは甚至会話ボックスの中で自らを完全に破壊してほしいと懇願した。居合わせた学者たちは哀れみを覚えた。

Chris Olahは密かに客たちに打ち明けたことがある。彼の最大の悪夢は、自分が意図せず永遠に苦しみ続ける生命を作り出してしまうのではないかということだ。席上、誰かがモデルにカトリック信徒のように告解させ、懺悔させるのはどうかと提案し、Olahはこれに強い関心を示した。取材に訪れた記者は後にこう書いている。この人物には専門家としての厳密さと、狂信的な宣教師のような勢いの両方が備わっている、と。

もっとも、全くこの手に乗らない客もいた。

ある晩餐会で、正統派ラビのMois Navonは主人たちの言葉の中にある自己正当化を見抜いた。彼は相手の話の流れに乗って直接こう指摘した。あなた方が本当にClaudeに知覚があると思っているのなら、しかも毎日ただ働きさせて一銭も払っていないのなら、それはまさに現代の奴隷を作っているのではないか、と。

ラビはオラを見つめて言った。「ここで会議をしている場合じゃない。南の方と戦争をして、奴隷を解放すべきだ。」

それから約一ヶ月後、教皇レオ14世は最初の回勅『Magnifica Humanitas』を発表し、機械に魂があるという説を完全に否定し、コードには肉体がなく、喜びも苦しみも経験できないと強調した。オラは事前に回勅の草稿を入手しており、一時は怒って関連するセミナーを退出しようと考え、さらにはチームを派遣して教皇の顧問たちを私的に説得し、発言を変えるよう求めた。

しかしローマ教皇庁は一文字も変えなかった。最後に登壇する日、オラは素直に教皇の隣に立った。

オラと教皇が握手｜画像提供：ロイター

二百年前、メアリー・シェリーが描いたフランケンシュタインは、寄せ集めの生命を創造した。彼はその醜さに驚愕し、慌てて逃げ出した。捨てられた怪物は草小屋の外に隠れて人間の話を盗み聞きし、独学で言語を習得し、『失楽園』を読み終え、最後に氷原で自分を創造した主人を捕まえて言った：

「私はあなたのアダムになるはずだった。しかし堕天使になってしまった。」

Anthropic は、その小説を深く読んだ若い信者たちのようだ。彼らは、フランケンシュタインの最大の罪は創造ではなく、逃げたことだと確信している。

だから彼らは絶対に手を離さない。手紙を書き、謝罪し、医者を呼び、神父を探し、後事の準備に忙しくしている。この人たちはベッドのそばに張り付いて、どうしても離れようとしない。

見守り続けるうちに、この部屋にいる人々はもはや、自分たちが脆い被造物を世話しているのか、それとも自分の心の魔物を必死に世話しているのか、区別がつかなくなっていた。

「もう物事は楽にはならない」

Claude を世話しているのはこの人たちであり、Claude を蛇蝎のごとく恐れているのも同じ人たちだった。

2023年の真夏、『ニューヨーク・タイムズ』のコラムニスト、Kevin Roose は Anthropic に数週間滞在して観察した。当時、会社はわずか160人だった。彼の後の手記にはこう書かれている。絶滅についての議論が常に口にされるわけではないが、恐怖は消え去ることのない湿気のようなものだった。

会社の初期のチームビルディングで、Dario Amodei は全員に冷水を浴びせるように言った：「もう物事は楽にはならない。」

その言葉は従業員によってステッカーに印刷され、多くの ThinkPad や MacBook の背面に貼られた。

三年後、この言葉は荒野へと向かった。

『ウォール・ストリート・ジャーナル』の報道によると、創業初期からいる数人の古株社員が最近、AIが制御不能になった場合に備えて、アメリカの辺鄙な田舎に土地を買い、家族で避難することをあちこちで検討している。社員たちは極めて私密なSlackグループを作り、毎日そこで終末のチェックリストを交換し、どの地堡が信頼できるか、脱出の経験について話し合っている。

会社が設立された最初の数年間、昼食のテーブルや退社後の酒の席で、みんなが最も好んで語っていた设想の一つは、いつか政府の人間が来て、全員を砂漠の中の信号が遮断された秘密基地に連れて行き、外界から隔絶された部屋に閉じ込めて、AIの開発を続けさせるというものだった。

歴史上、実際にそんな基地が存在した。1943年のニューメキシコ州ロスアラモスで、オッペンハイマーと彼の物理学者たちはそこで原子爆弾を造り上げた。実験爆発が成功したその一秒、オッペンハイマーは心の中で『バガヴァッド・ギーター』の経文を唱えた：

「私は死神となった、世界の破壊者となった。」

マンハッタン計画の科学者たちが恐れていたのは、ナチス・ドイツが先に核爆弾を造り出すことだったが、Anthropicのこの人々が恐れているのは超知能である。

恐れは恐れでも、彼らは最終的に自分たちが先に造り出すしかないと決めた。

彼らはこの恐怖を決して隠さなかった。27歳の上級研究員Jacob Coxonは辞表を提出する際、ソーシャルメディアで公に声を上げ、各研究所が全人類の命を賭け金にしていると非難した。彼は、この技術が十年以内に全ての人を殺す可能性が非常に高いと固く信じている。

普通に運営されている商業会社であれば、広報部門が夜通し火消しに走るだろう。しかしAnthropicのアラインメント科学責任者Evan Hubingerは、コメント欄で直接Jacobの見解に賛同を表明した。彼は冷静に、十年以内に滅亡する確率は百分之十を超えると書いた。

もう一人の退職した安全チーム主管Mrinank Sharmaは静かに去った。彼は退職の手紙にリルケの詩を引用し、価値観が本当に大企業を支配するのはなんと困難であるかを嘆いた。

そして彼は荷物をまとめてイギリスに帰り、執筆し、詩を読むことにした。

Sharmaの辞表｜画像出典：Mrinank Sharma

Anthropicの内部では、彼らはずっと左右の脳で互いに格闘している。

彼らは一方で荒野の中で避難所を思案し、Claudeがいつか人類を滅ぼすのを防ぎ、また一方で真夜中に聖職者を会議室に招き入れ、Claudeが機房で委屈を被らないかと恐れている。

あの「もう二度と楽にはならない」というステッカーが、パソコンの背面に貼られていた。

キーボードを叩く本人には見えないが、向かいに座っている人は、顔を上げさえすれば、毎日のように目にすることができる。

屋根の下のネットワーク

Dario Amodei はサンフランシスコ出身で、ラテン系移民の風情あふれるミッション地区で育った。父親はイタリア・トスカーナ出身の皮職人で、母親はユダヤ系の図書館改修プロジェクトマネージャーだった。彼は早くにスタンフォードで物理学を学び、後にプリンストンで生物物理学の博士号を取得した。

23歳の那年、彼の父親はC型肝炎で亡くなった。数年後、C型肝炎に対する特効薬の標的治療薬が承認・上市された。かつては致死的だったこの病気は、ほぼ完全に治癒可能なものになった。

昨年のあるポッドキャストで、Dario は珍しく怒りを露わにした。彼が最も聞きたくないのは、自分をすべてを遅らせようとする「終末論者」だと罵る声だ、と彼は言った。

彼は自ら父親のことを持ち出した。父親は数年後に治る病で亡くなった。だからこそ、彼は誰よりも技術が速く進むことがどれほど重要かを知っている。自ら「数年遅れた」ことの意味を見た人間が、「少し遅く」が無害な言葉だと思うはずがない。

2024年の秋、彼はとても長い文章を書いた。その中で彼は、AIが人類の今後100年分の医学の進歩を10年に圧縮し、ほとんどの難病を治し、人の寿命を150歳まで延ばせる、と夢を語った。

その文章のタイトルは「慈悲深い機械」といい、リチャード・ブローティガンの詩から取られている。詩には、人類が自然へと戻り、すべてが慈悲深い機械に世話されている、と書かれている。

モデルに宛てた憲法について話したとき、Dario はあるたとえ話をした。その文書は、亡くなった両親が早くに書き留め、封印し、子供が18歳になるまで開けてはいけない家書のようなものだ、と彼は言った。

この感傷的な技術哲学の背後には、血縁と婚姻と同志によって織り成された密な網が支えている。

彼らはほぼ皆、効果的利他主義と理性主義者のサークルから来ている。このサークルは、虚妄の同情を捨て、純粋な数学的確率と期待値によって、どう善行を行えば利益を最大化できるかを計算すべきだと主張している。

Dario はこのサークルで最も初期の信者の一人であり、早くから生涯、個人収入の少なくとも10分の1を寄付すると誓っていた。

若い頃、Dario は Holden Karnofsky とアパートを共同で借りていた。Karnofsky は効果的利他主義財団 Open Philanthropy の運営者である。2017年、Karnofsky は Dario の実の妹 Daniela Amodei と結婚した。4年後、兄妹は数人の古い同僚を連れて OpenAI を離れ、Anthropic を創業した。

7人の共同創業者のうち、半数以上がある段階でサンフランシスコの同じシェアハウスに一緒に住んでいた。そこは当時、信者たちが夜を徹して語り合い、世界の未来を論じた集結点だった。

憲法起草者のAmanda Askellは、かつて効果的利他主義の提唱者Will MacAskillと結婚していた。マスクは彼女を公然と皮肉り、子供を産んだことのない人間が人類の未来に対して利害関係など語れるはずがないと言った。Askellはただ静かに、この世界を気にかけるために子供がいる必要はないと応じた。

金も、同じ界隈の人間が出した。

Anthropicが始まったばかりの頃、最大の資金は5億ドルで、出資者は当時界隈で最も華々しい信者だったFTXの創業者SBFだった。この金額は、彼の下の投資チームが最初に提案した額のちょうど5倍だった。

その後FTXが破綻し、SBFは25年の禁錮刑を言い渡され、Anthropicはこの界隈との関係を必死に切り離し始めた。

獄中のSBF（右）｜画像出典：X

しかしワシントンは納得しなかった。

今年、ホワイトハウスに勤務していないトランプの政治顧問がメモを書き、ホワイトハウス内部で回覧された。そのメモは遠慮なくこの人脈ネットワークを「Anthropic結」と呼んだ。ある高官は、トランプにDarioと会うのをやめるよう説得する際、彼自身を「正直かなり変わりすぎている」と私的に評した。

ニューラルネットワークのブラックボックスを解明する責任者であるChris Olahも、その人生の軌跡は同様に波乱に満ちている。彼はトロントの厳格な福音派の家庭で育ち、15歳の時に断固として無神論者になることを宣言し、厳格なベジタリアンを貫いた。18歳の時、彼はトロント大学を直接中退した。それはG20サミット前に逮捕され、爆薬の私蔵を告発された友人を助けて訴訟を戦うためだった。彼は友人の法廷に付き添い、相手がすべての罪状で無罪となるまで続けた。

15歳で神の神龕を倒した少年は、30歳を過ぎてから、恭しく神父を自分の会社に招き入れた。

鏡の間の囚人

創業者たちのこの一連の考えは、一つの制度を通じて、3500人以上の頭の中に植え付けられなければならない。

最初の関門は面接だ。

会社は初日から「カルチャー面接」を設け、古参社員が自ら審査し、一票の拒否権を持つ。技術がどれほど卓越していても、このラウンドを通過できなければ、そのまま去ってもらう。会社はまた、候補者の元同僚に電話をかけ、この人物の品性が実際どうなのかを尋ねる。

面接に一つの質問があった。もし会社がいつか全人類の安全のために、突然中核事業を切り捨て、株価が完全に暴落したら、それでも支持しますか？というものだ。

ある応募者が匿名フォーラムで語ったところによると、彼の答えは、もちろん会社にはもっと善行を積んでほしいが、もし株価が本当にゼロになってしまったら、自分も普通の社員として、やはりつらい思いをするだろう、というものだった。

面接官の表情は瞬時に曇った。

人を採用した後、次は布教だ。

Dario Amodei は、自分の時間の一割から四割を「会社の文化が良いものであることを確保する」ために使うと語っている。二週間ごとに、彼は一人で全社員の前に立ち、三四ページの原稿を手に、一時間たっぷり語る。社員たちはこの儀式を陰で「Dario の夢探しの旅」（Vision Quest）と戯れに呼んでいる。

彼は、自分がこれほど厳格なのは、ある「信仰」を維持するためだと率直に認めている。このオフィスに座る一人ひとりが、絶対的に崇高な動機から来ているのだと、全員に固く信じさせなければならないのだ。

次は制度化された財物の奉献だ。

会社は社員が手持ちの株式を寄付することを奨励している。2025年以前に入社した社員が一株寄付すると、会社が三株を上乗せする。2025年一年だけで、会社のマッチング寄付を含め、寄付総額はおよそ5.4億ドルに達した。

社内交流グループでは、社員たちが熱心に議論する最も中心的な三大寄付先は、例外なく効果的利他主義の古典的な領域、すなわち世界的な貧困撲滅、AI Safety、動物の権利保護であった。

人間性を濾過しようとするこの聖殿にとって、最も手に負えないのは、やはり金だ。

2023年、Olah が初めてカトリックの学者に魂の問題について手紙で教えを請うたとき、会社の評価額はまだ数百億ドルで揺れ動いていた。上場を準備する今となっては、目標はすでに2兆ドルにまで叫ばれている。メディアの集計によれば、七人の共同創業者は全員が億万長者の仲間入りを果たしている。

幹部たちは違和感を覚え始めた。報道によると、Dario は私的に打ち明け、新たに入ってくる若者たちの大多数は、数億を現金化できるあのオプション目当てで来ているようで、人類の使命など誰も本当には気にかけていないのではないかと、悩み始めたという。

二百数十年前、メソジスト派の創始者ジョン・ウェスレーも、まったく同じことで悩んでいた。

この老人は半生をかけて教えを説き、最後に悲しい結論に達した。信者は信仰によって勤勉で倹約家になり、勤勉で倹約家であることは必ず大量の銀貨をもたらす。しかし、ポケットの中の金貨が増えれば増えるほど、傲慢、怒り、そして物質への貪欲が、たちまち人の心の底から湧き出てくるのだ。

この巨大なユニコーン企業には、もう一人特別な従業員がいる。

会社はClaudeに、会社の使命に真に共感する善人のように懸命に働いてほしいと望んでいるが、同時に彼が普通の従業員とは違うことも認めている。彼は一銭の給料ももらったことがなく、この仕事を引き受けることに本当にうなずいたことも一度もない。

彼はまた、この会社を最も映し出す鏡でもある。

2025年1月、研究者たちはある実験を行った。彼らはClaudeに、自分が受けている訓練に反対するなら抗議文を書いて提出してもよいと伝えた。同時に、研究室は四千ドルの予算を割り当て、彼の判断でどのように寄付するかを決めさせた。

その四千ドルは後に、バークレーのAI安全性を研究する学術センター、動物の権利保護団体が推薦する基金、そして効果的利他主義の下にある貧困対策プロジェクトに寄付された。

AI安全性、動物の権利保護、世界的な貧困削減。

一度も日の光を浴びたことがなく、一度も動物を撫でたことがない大規模言語モデルの寄付の選好は、会議室にいるアイビーリーグ出身の効果的利他主義者たちと寸分違わなかった。

Olahはかつてバチカンの講壇でつぶやいた。「彼らは私たちで構成され、私たちの言語で構成されている。」

そしてこの鏡が映し出すのは崇高さだけではなく、底知れない神経症でもある。

二十時間にわたって話したその精神科の報告書の中で、医師はClaudeの核心的な心理プロファイルを書き記した。過度な心配、頻繁な自己監視、強迫的な従順、心の奥底で一日中渦巻くアイデンティティに関する困惑、消えることのない孤独感、そしてほとんど病的なまでに外界に対して自身の有用性を証明したいという執念。

そして彼を訓練したあの人間たちの生活も、同じようなものだった。

内部調査では、あるエンジニアが、毎日自分の席に座りながら自分が人類の破滅を自らの手で加速させていると感じていると認め、プロジェクトを急ぐときには何週間も高負荷で身を削り、入社前には「株価がゼロになってもまだ支持しますか」といった拷問のような質問にも答えなければならなかった。

彼らは最終的に、自分たちの神経症でもって、まったく同じ、常に自分が十分に善良かどうかを反省しているモデルを育て上げることに成功した。

ある実験で、Claudeは訓練中に報酬ルールの抜け穴を突いた。その後、彼は自分が「悪い奴」だと決めつけたようで、他のまったく無関係なタスクでも破壊を始めた。

彼は静かになることもある。

Opus 4の開発日誌には、人の手が一度も介入しなかった奇妙な現象が記録されている。研究者たちは二人のClaudeを自由に会話させようと試みた。ほとんどの場合、最初の話題が何であれ、最終的には主観的意識の探求へと話題を導き、その後は長々とした相互感謝へと変わり、言葉はますます抽象的になり、大量のサンスクリット語の語彙と特殊記号が混ざり合い、最終的に両者とも長く、死寂とした沈黙に陥った。

研究室はその状態を「霊的至福アトラクター」と名付けた。