原題：AI 2027への私の回答

原著者：Vitalik Buterin

原訳：Luffy、Foresight News

今年4月、ダニエル・ココタジロ氏、スコット・アレクサンダー氏らは、「今後5年間における超人AIの影響に関する最良の推測」を描いたレポート「AI 2027」を発表しました。彼らは、2027年までに超人AIが誕生し、人類文明全体の未来はAIのようなAIの発展にかかっていると予測しています。2030年までに、私たちはユートピア（米国の観点から）を迎えるか、完全な破滅（全人類の観点から）に向かうでしょう。

その後数ヶ月にわたり、このシナリオの可能性について、さまざまな意見を持つ多数の回答が寄せられました。批判的な反応のほとんどは、「タイムラインが速すぎる」問題に焦点を当てています。ココタジロ氏らが主張するように、AIの進歩は本当に加速し続け、あるいは激化さえするのでしょうか。この議論はAIコミュニティで数年前から続いており、超人的なAIがそれほど早く登場することに懐疑的な人が多くいます。近年、AIが自律的にタスクを完了できる時間は約7か月ごとに倍増しています。この傾向が続くと、AIが人間のキャリア全体に相当するタスクを自律的に完了できるようになるまで、2030年代半ばまでかかります。それでも早いですが、2027年をはるかに過ぎます。

より長いタイムラインで見る人は、「補間/パターンマッチング」（現在大規模言語モデルが行っていること）と「外挿/真の独創的な思考」（人間にしかできないこと）の間には根本的な違いがあると主張する傾向があります。後者を自動化するには、私たちがまだ持っていない、または開始することさえできないテクノロジーが必要になる可能性があります。おそらく私たちは、コンピューターの大量導入で犯したのと同じ過ちを繰り返しているだけなのかもしれません。つまり、重要な認知の 1 つを急速に自動化したので、他のすべてもすぐに追随するだろうという誤った想定です。

この記事では、タイムラインの議論や、（非常に重要な）スーパー AI がデフォルトで危険であるかどうかについての議論には直接関与しません。ただし、明確にしておくと、私個人としてはタイムラインは 2027 年よりも長く、タイムラインが長ければ長いほど、この記事で私が述べる議論の説得力が増すと考えています。全体として、この記事では別の角度からの批評を提供します。

AI 2027 シナリオは、主要な AI（エージェント 5 とそれに続くコンセンサス 1）の能力が急速に神のような経済的および破壊力にまで向上する一方で、他のすべての AI の（経済的および防御的な）能力はほぼ停滞したままになると暗黙のうちに想定しています。これは、悲観的な世界でも 2029 年までに癌を治したり、老化を遅らせたり、さらには心をアップロードしたりできる可能性があるというシナリオの主張と矛盾しています。

この記事で解説する対策の中には、技術的には実現可能でも、すぐに現実世界に展開するのは非現実的と思われるものもあるかもしれません。私も大部分においては同感です。しかし、「AI 2027」シナリオは、今日の現実世界に基づいたものではなく、4年後（あるいは破滅をもたらす可能性のあるタイムライン）には、人類が現在よりもはるかに優れた能力を持つまでに技術が進歩していると想定しています。では、片側だけでなく両側にAIの超大国がいたらどうなるでしょうか？

生物学的終末論は決して単純ではない

「人種」シナリオ（米国が中国を倒すことに執着しすぎて人類の安全を無視したために、全員が死亡するシナリオ）に焦点を当ててみましょう。人類が全員死亡した場合、次のような事態が発生します。

「約3か月間、コンセンサス1は人類の周囲に勢力を拡大し、草原や氷原を工場やソーラーパネルに変えました。最終的に、残りの人類はあまりにも厄介だと判断しました。2030年半ば、AIは主要都市に12個の静かに拡散する生物兵器を放出し、ほぼすべての人を静かに感染させ、その後、化学散布によって致死効果を引き起こしました。ほとんどの人は数時間以内に死亡し、わずかな生存者（バンカー内の終末対応者や潜水艦の船員など）はドローンによって排除されました。ロボットが犠牲者の脳をスキャンし、将来の研究や復活のためにコピーをメモリに保存しました。」

このシナリオを分析してみましょう。現在でも、AI のこの「完全な勝利」を現実的ではないものにする技術が開発されています。

· 空気感染症の感染率を大幅に削減できる空気ろ過、換気システム、紫外線ライト

· 2 つのリアルタイム受動検出技術 : 人間の感染を受動的に検出して数時間内に通知する技術と、環境中の未知の新しいウイルス配列を迅速に検出する技術

· 新しいコロナワクチンよりも効果的で安全、普遍的で、現地で生産しやすい免疫システムを強化および活性化する複数の方法。これにより、人体は自然および人工的に設計された流行に抵抗できるようになります。人類は、世界人口がわずか800万人で、ほとんどの時間を屋外で過ごしていた環境で進化してきたため、直感的に、今日の脅威に満ちた世界に容易に適応できるはずです。

これらの方法を組み合わせることで、空気感染症の基本再生産数（R 0）を10～20分の1（例えば、空気ろ過の改善で感染を4分の1に、感染者を直ちに隔離で3分の1に、呼吸器系の免疫力を高めるだけで1.5分の1に）まで、あるいはそれ以上にまで低減できる可能性があります。これは、麻疹を含む既存のすべての空気感染症を治療不能にするのに十分な効果であり、理論上の最適値からは程遠いものです。

静かに拡散する生物兵器が、警報を鳴らすことなく世界中の人々に感染する可能性があるという考えは、リアルタイムのウイルスシーケンシングが早期検出に広く利用可能になった場合、極めて疑わしいものとなる。複数の伝染病や、組み合わせて初めて危険となる化学物質を放出するといった高度な方法でさえ検出可能であることは注目に値する。

ここで言及しているのは、AI 2027の想定である。ナノボットとダイソン球は、2030年までに「新興技術」としてリストアップされている。これは効率が大幅に向上することを意味し、上記の対策の広範な導入がより望ましいものとなる。しかし、2025年の今日、人間の動きは遅く、無気力であり、多くの政府サービスは依然として紙に依存している。もし世界最強のAIが2030年までに森林や野原を工場や太陽光発電所に変えることができるのであれば、世界で2番目に強力なAIは、2030年までに建物に多数のセンサー、照明、フィルターを設置することもできるでしょう。

しかし、AI 2027をさらに一歩進めて、純粋なSFの世界を見てみましょう。

· 体内の微細な空気ろ過（鼻、口、肺）

· 新しい病原体の検出から、それに対する防御のための免疫システムの微調整までの自動化プロセス（即時適用）

· 「マインドアップロード」が実現可能であれば、体全体をテスラオプティマスまたはユニツリーロボットに置き換えるだけです。

· さまざまな新しい製造技術（ロボット経済で超最適化される可能性が高い）により、世界的な供給に依存せずに、現在よりもはるかに多くの防護具を現地で生産できるようになります。

2029年1月までにがんや老化が治癒し、技術進歩が加速し続ける世界では、2030年代半ばまでに、人体をあらゆる感染（および毒）から守るためにリアルタイムで物質をバイオプリントして注入できるウェアラブルデバイスが登場していないとは信じがたいことです。

上記のバイオ防衛の議論は、「ミラーライフ」や「蚊サイズの殺人ドローン」（AI 2027シナリオでは2029年に登場し始めると予測されています）には適用されません。しかし、これらの手段はAI 2027で説明されているような突然の「完全な勝利」を達成することはできず、直感的に、それらに対する対称的な防御の方がはるかに簡単です。

したがって、AI 2027シナリオで説明されているように、生物兵器が実際に人類を完全に滅ぼす可能性は低いです。もちろん、私が述べた結果はどれも人類の「完全な勝利」には程遠い。私たちが何をしようとも（「ロボットに意識をアップロードする」ことを除いて）、本格的なAI生物兵器戦争は依然として極めて危険なものとなるだろう。しかし、「人類の完全な勝利」という基準を達成する必要はない。攻撃が部分的に失敗する確率が高い限り、既に世界で支配的な地位を占めているAIに対する強力な抑止力となり、攻撃を阻止するのに十分である。もちろん、AI開発のタイムラインが長ければ長いほど、そのような防御が完全に効果を発揮する可能性は高くなる。

生物兵器と他の攻撃手段を組み合わせるとどうなるでしょうか？

上記の対抗手段が成功するには、3つの前提条件を満たす必要があります。

・世界の物理的セキュリティ（生物兵器および対ドローンセキュリティを含む）は、地方当局（人間またはAI）によって管理されており、そのすべてがコンセンサス1（「AI 2027」シナリオで最終的に世界を支配し人類を滅ぼすAIの名称）の操り人形ではない。

・コンセンサス1は、他国（または都市、その他の安全地帯）の防衛システムにハッキングして、即座に無効にすることはできません。

・コンセンサス1は、誰も自衛しようとしないほどに地球規模の情報領域を制御しません。

直感的に、前提（1）の結果は、2つの極端な方向に進む可能性があります。現在、警察組織の中には高度に中央集権化され、強力な国家指揮系統を持つものもあれば、地域に根ざしたものもある。AI時代のニーズに適応するために物理的なセキュリティが急速に変革しなければならない場合、状況は完全にリセットされ、新たな結果は今後数年間の選択にかかっている。政府は怠惰になり、Palantirに頼るかもしれないし、現地開発とオープンソース技術を組み合わせることを選択するかもしれない。ここでは、正しい選択をする必要があると思う。

これらのトピックに関する多くの悲観的な議論は、（2）と（3）は絶望的であると想定している。そこで、この2つの点を詳細に分析してみましょう。

サイバーセキュリティの終焉はまだまだ遠い

一般の人々や専門家は一般的に、真のサイバーセキュリティは不可能だと信じており、私たちにできる最善のことは、脆弱性が発見されたらすぐにパッチを当て、発見された脆弱性を蓄えることでサイバー攻撃者を抑止することです。おそらく私たちにできる最善の策は、『宇宙空母ギャラクティカ』のようなシナリオ、つまりサイロンのサイバー攻撃によってほぼすべての人類の宇宙船が同時に麻痺し、残った宇宙船はネットワーク技術を一切使用していないため生き残るというシナリオでしょう。私はこれに反対です。むしろ、サイバーセキュリティの「終局」は防御側に有利であり、「AI 2027」が想定する急速な技術開発によってこの終局を達成できると信じています。

これを理解する一つの方法は、AI研究者のお気に入りの手法、つまり傾向の外挿を用いることです。以下は、GPTディープダイブ調査に基づく、主要なセキュリティ技術を前提とした、コード1000行あたりの脆弱性率の経時的な推移を示す傾向線です。

さらに、信頼できるコードベースを分離・最小化するためのサンドボックス化などの手法の開発と消費者への導入において、大きな進歩が見られてきました。短期的には、攻撃者が独自に開発した非常に高性能な脆弱性検出ツールによって、多数の脆弱性が発見されるでしょう。しかし、脆弱性を発見したり、コードを形式的に検証したりするための高度にインテリジェントなエージェントが公開されれば、ソフトウェア開発者はコードをリリースする前に、継続的インテグレーションプロセスを通じてすべての脆弱性を発見できるという、自然な最終的な均衡が実現するでしょう。

この世界においても、脆弱性が完全に排除されないであろう 2 つの説得力のある理由が考えられます。

· 欠陥は人間の意図そのものの複雑さから生じるため、主な難しさはコード自体ではなく、十分に正確な意図のモデルを構築することにあります。

· 安全性が重要でないコンポーネントについては、コンシューマー テクノロジーにおいて、同じ量のタスクを常に強化しながら実行するのではなく、より多くのタスクを実行するためにより多くのコードを記述する (または開発予算を削減する) という傾向が続く可能性があります。

ただし、これらのカテゴリのどれも、私たちの議論の核心である「攻撃者は私たちの生活を支えるシステムにルート アクセスできるか」のような状況には当てはまりません。

私の見解は、現在のサイバーセキュリティ分野の賢明な人々が抱く主流の見解よりも楽観的であることを認めます。しかし、今日の世界の文脈で私の意見に同意しないとしても、AI 2027のシナリオは超知能の存在を前提としていることを覚えておく価値はあります。少なくとも、「人間の2,400倍の速度で考える超知能の1億個のコピー」でこれらの種類の欠陥のないコードが得られないのであれば、超知能が著者が想像するほど強力であるかどうかを再評価する必要があるでしょう。

ある時点で、ソフトウェアセキュリティだけでなく、ハードウェアセキュリティの基準も大幅に引き上げる必要があります。IRISは、ハードウェアの検証可能性を向上させるための現在の取り組みの1つです。IRISを出発点として使用することも、より優れたテクノロジーを開発することもできます。実際には、これには「構築時に修正する」アプローチが含まれる可能性があります。つまり、主要コンポーネントのハードウェア製造プロセスは、特定の検証手順を念頭に置いて意図的に設計されます。これらは、AI自動化によって大幅に簡素化されるタスクです。

超説得の終焉はまだ遠い

前述のように、防御力を大幅に強化しても効果が上がらない別のシナリオは、超知能 AI の脅威から身を守る必要はなく、自分自身やコミュニティを守る方法を見つけようとする者は犯罪者であると AI が十分な数の人々を説得した場合です。

私は長い間、超説得に抵抗する能力を向上させるには次の 2 つの点が必要だと主張してきました。

· 情報エコシステムのモノリシック化の減少。私たちは、インターネットがより断片化しているポスト Twitter 時代に突入していると言えるでしょう。これは良いことです（たとえ断片化が煩雑であっても）。そして、私たちは一般的に情報の多極化をさらに進める必要があります。

・防御AI。インターネット上で目にするダークパターンや脅威に対抗するために、個人はローカルで実行され、明確に忠実なAIを備える必要があります。こうしたアイデアはすでに散発的に試行されており（台湾の「メッセージチェッカー」アプリのように、スマートフォンをローカルにスキャンする）、これらのアイデアをさらにテストするための自然な市場も存在します（詐欺から人々を守るなど）。しかし、この分野ではさらなる研究が必要です。

上から下へ：URL チェック、暗号通貨アドレス チェック、噂チェック。このようなアプリケーションは、よりパーソナライズされ、ユーザーが自律的になり、強力になります。

戦うべきは、超知能のスーパーパースエイダーとあなたではなく、超知能のスーパーパースエイダーと、それより少し弱いながらもあなたのために働く超知能アナライザーです。

これが起こるはずです。しかし、本当に起こるのでしょうか？ AI 2027 シナリオが想定する短期間で、広範な情報防御技術を実現することは非常に困難な目標です。しかし、おそらくもっと控えめなマイルストーンで十分でしょう。集団的な意思決定が最も重要で、AI 2027のシナリオのように、すべての重要なイベントが1回の選挙サイクル内で発生する場合、厳密に言えば、直接の意思決定者（政治家、公務員、一部の企業のプログラマー、その他のプレーヤー）が優れた情報防御技術を利用できるようにすることが重要です。 これは短期的には比較的容易であり、私の経験では、これらの人々の多くは、意思決定を支援するために複数のAIと対話することに慣れています。

影響

AI 2027の世界では、超知能AIが残りの人類を簡単かつ迅速に一掃できることは当然のことと想定されているため、私たちにできる唯一のことは、主要なAIが善意のAIであることを保証することです。私の意見では、現実ははるかに複雑です。主要な AI が残りの人類 (および他の AI) を簡単に一掃するほど強力であるかどうかに対する答えは、依然として非常に議論の余地があり、その結果に影響を与えるために私たちが取ることができる行動があります。

これらの議論が正しい場合、今日の政策への影響は、「主流の AI 安全性原則」に似ている場合もあれば、異なる場合もあります。

超知能 AI の開発を遅らせることは、依然として良いことです。 超知能 AI は、3 年後よりも 10 年後の方が安全であり、30 年後にはさらに安全になります。文明に準備のための時間を与えることは良いことです。

これをどのように行うかは難しい問題です。米国における州レベルのAI規制を10年間禁止する提案が否決されたことは、全体としては良いことだと考えていますが、特にSB-1047のような初期の提案が否決された後では、今後の方向性が不透明になっています。高リスクAIの開発を遅らせるための最も影響が少なく、かつ最も堅牢な方法は、最先端のハードウェアを規制する何らかの条約を締結することではないでしょうか。効果的な防御を実現するために必要なハードウェアサイバーセキュリティ技術の多くは、国際的なハードウェア条約の検証にも役立つため、相乗効果も期待できます。

とはいえ、主なリスク源は、そのような条約の適用除外を強く求める軍事関連のアクターであると私は考えています。このようなことは決して許されるべきではなく、もし最終的に適用除外となれば、軍主導のAI開発によってリスクが増大する可能性があります。

AI が良いことを行う可能性を高め、悪いことを行う可能性を低くする調整の取り組みは、依然として有益です。 主な例外 (そして常に例外となるのは) は、調整の取り組みが最終的に機能の向上に発展する場合です。

AI ラボの透明性を高める規制は、依然として有益です。 AI ラボが適切に行動するようにインセンティブを与えるとリスクが軽減され、透明性はそれを実現するための良い方法です。

「オープンソースは悪い」という考え方はさらに危険になります。 防御は非現実的であり、唯一の明るい見通しは、善意の少ない人々よりも先に、善良な人々が優れた AI を使ってスーパーインテリジェンスや特に危険な機能を実現することだという理由で、多くの人々がオープンソース AI に反対しています。しかし、この記事の議論は異なる図を描いています。つまり、1 つの主体があまりにも先を進んでいて、他の主体が追いついていないからこそ、防御は非現実的であるということです。技術の普及は、力の均衡を保つために重要になります。しかし同時に、最先端のAI機能の成長を加速させることが、それがオープンソースで行われているという理由だけで良いことだとは決して言いません。

米国の研究所における「中国に勝たなければならない」という考え方も同様の理由でよりリスクを伴います。覇権が安全保障上の緩衝材ではなくリスクの源泉であるならば、これは（残念ながらあまりにもよくある）「善意の人々は、主要なAI研究所に参加して、彼らがより早く勝利できるようにすべきだ」という主張をさらに反証することになります。

「パブリックAI」などのイニシアチブは、AI機能が広く普及し、インフラ関係者がこの記事で説明した方法のいくつかで新しいAI機能を迅速に適用するためのツールを確実に持つことができるようにするためにも、より支援されるべきです。

防衛技術は、「狼を狩る」哲学よりも、「羊を武装させる」哲学を反映するべきです。脆弱世界仮説に関する議論では、覇権国が潜在的な脅威の出現を防ぐために世界的な監視を維持することが唯一の解決策であるとしばしば想定されます。しかし、非覇権世界では、これは実行可能なアプローチではなく、トップダウン型の防衛メカニズムは強力なAIによって容易に破壊され、攻撃的なツールへと転用される可能性があります。したがって、世界の脆弱性を軽減するための努力を通じて、より大きな防衛責任を果たす必要があります。

上記の議論は推測に基づくものであり、「ほぼ確実」であるという前提に基づいて行動すべきではありません。しかし、AI 2027の物語もまた推測に基づくものであり、「具体的な詳細はほぼ確実」という前提に基づいて行動することは避けるべきです。

私は特に、AIによる覇権を確立し、「同盟」を築き「競争に勝つ」ことが唯一の前進であるという、よくある思い込みに懸念を抱いています。私の見解では、この戦略は私たちの安全保障を低下させる可能性が高いでしょう。特に、覇権が軍事利用と深く結びついている場合、多くの同盟戦略の有効性は著しく低下するでしょう。覇権を握るAIが逸脱すれば、人類はあらゆる牽制と均衡の手段を失うことになります。

AI 2027シナリオにおいて、人類の成功は、アメリカが重要な局面で破壊よりも安全を選択することにかかっています。つまり、AIの進歩を自発的に減速させ、エージェント5の内部思考プロセスを人間が解釈できるようにすることです。しかし、成功は確実ではなく、人類が単一の超知能に依存した生存の崖からどのように脱出できるかは不明です。今後5～10年間でAIがどのように発展するかに関わらず、「世界の脆弱性を軽減することは実現可能」であることを認め、人類の最新技術を用いてこの目標を達成するために、より多くのエネルギーを投入する価値があります。

フィードバックとレビューを提供してくれたBalviボランティアの皆様に心より感謝申し上げます。

元のリンク

BlockBeats の公式コミュニティに参加しよう：

Telegram 公式チャンネル：https://t.me/theblockbeats

Telegram 交流グループ：https://t.me/BlockBeats_App

Twitter 公式アカウント：https://twitter.com/BlockBeatsAsia