lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

SBFがAnthropic売却の悔しさを初めて語る:AIが人類を滅ぼす確率は25%、若者はAIを徹底的に学ぶべき

この記事を読むのに必要な時間は 46 分
SBFが獄中でインタビューを受け、Anthropicの現在の1兆ドル評価を逃したことを悔やんでいる。彼は、今後5〜10年でAIがほとんどの重要なタスクで人間を超え、その影響は業界ごとに順次広がると考えている。AIの堀は依然としてブランドであり、FTXのこの道はあまり価値がなかった。
編集者注:Anthropicが上場し、評価額は1.5兆ドル、一時は2兆ドル近い時価総額に達した。SBFが当時、極めて小さな時価総額でAnthropicに投資していたことを皆が思い出す。もし今まで保有していれば約400億ドルになっていたはずだが、残念ながらすでに売却されている。


14歳の少年Eli GoldfineがSBFの母親に連絡を取り、獄中のSBFと電話で話した。これは私がこれまで見た中で、FTXの破綻とSBFの収監以降で最高のインタビューだ。SBFによるAnthropicへの投資の振り返りやAIに対する見解だけでなく、FTXが2020年にはすでに手がけていたものの、今になって人々が話題にし始めた多くの分野についても語られており、それらのホットな分野に対する彼の現在の見解も含まれている。


TL;DR

· AIが人類の絶滅や文明の崩壊を引き起こす確率について、彼は25%と答えた。当初は「50%未満、10%超」と言っていたが、最終的に25%前後に落ち着いた。「マインドアップロードは災難に含まれるか」といった基準で区分すると、範囲は20%〜60%に広がる。


· 今後5〜10年でAIはほとんどの重要なタスクにおいて人間と同等かそれを超える。「AIが世界の大部分を運営する」まであと一歩だが、そのプロセスは曖昧で漸進的であり、「パッと」越える年があるわけではない。


· 衝撃は業界ごとに訪れ、一つの業界が次々と線を越えていく。ソフトウェア開発や数学ではすでに起きており、今後さらに多くの領域に広がる。世界全体が覆るわけではないが、局所的には劇的に変わる。


· 本当の問題は「減速すべきかどうか」ではなく、「全員を一緒に減速させられるか」だ。安全を全く気にしないプレイヤーが一人でもいれば、一方的な減速は競争を底辺への競争に変えるだけだ。


· アラインメントに単一の高次の答えはなく、悪魔は細部に宿る。大量のテスト、大量のデバッグ、大量の慎重さが必要であり、モデルが最終的にエージェントとして使われることを前提としなければならない。


· Anthropicは兆ドル規模のトップ2のAI企業だ。今後10年でAIは中核産業となり、累計時価総額は数十兆ドル、さらには百万億ドルに達する可能性がある。この規模を受け止められる企業は片手で数えられるほどしかない。


· 当時5億ドルしか投資しなかったのは、それだけの資金しか必要としなかったからだ。これは企業が株式を多く売りたがらず、必要に応じて資金調達した結果であり、彼の判断ミスではない。


· 現在のアルファは「誰がAIのストーリーを持っているか」ではなく、誰が本物のAI企業かを見分けることにある。しかもブランドは技術よりも堀を守る力が強い(CoinbaseやRobinhoodが数百億ドルの価値を持つのは、名前のおかげだ)。


· あの「51%で倍、49%で破滅」のコイン賭博について、抽象的なレベルでは彼は賭けるが、現実世界では断固として賭けない。なぜなら破滅は永久であり、成長はいずれ他人も達成できるからだ。


· 「Future Fundで行った善行の数々を踏まえて、FTXの台頭から崩壊までの全過程には価値があったか」と問われると、彼の答えは「ない」だった。彼は価値があったと信じたいが、正直にそう言うことはできない。最後に失敗しなければ、価値はあったはずだ——そして人々が教訓を得たとも思わない。なぜなら危機の中では、人々は本当に重要なものへの判断を失いやすいからだ。


あなたも聞いたと思うが、Anthropicは今週IPOするそうで、評価額は1兆ドルを超える見込みだ。現在の評価額についてどう思う?


私は彼らには大きな価値があると思う。


最大級の産業、私たちの経済の一部を本当に動かしている産業を見れば、その時価総額は数兆から数十兆ドルに達している。今後10年でAIがそうした中核産業の一つ、あるいはその中で最も主要なものにならないと考える理由はない。


だからAI企業の総時価総額が最終的に数十兆、あるいは百万億ドルに達すると予想するなら、その資金はどう配分されるのか。おそらく3分の2はまだ存在しない企業に残される。そう計算しても、少なくとも残り10兆ドルは既存企業に残る。そしてその規模を支えられる企業はそれほど多くない。OpenAIがあり、Anthropicがあり、Googleとその傘下のいくつかのラボがあり、おそらくDeepMind、xAIもある。本当の中核プレイヤーは片手で数えられる程度だ。これは基本的に、最上位の2、3社がそれぞれ少なくとも数兆ドルの価値を持つことを意味する。


そして私はAnthropicが、たとえ1位でなくとも、明らかに第一梯队にいると考える。


なぜそれがトップクラスのAI企業だと思うのか?


一つは現在のモデルの能力、現在の製品がどれほど使いやすいかを見る必要があり、それについて彼らとOpenAIは明らかに互いにやり取りし続けている。Anthropicの大衆向けコンシューマー製品は多くの肯定的なフィードバックを受けており、しかもそれはおそらく彼らの最も独特な製品ですらない。彼らのAIソフトウェア開発ツールは世界最高であり、それはまた別の巨大な領域だ。だから少なくとも今日においては、彼らをトップ2に数えなければならない。


もし本当に超知能へ全面突進する競争に入るなら、今のところその可能性は小さくないようだが、今後10年はおおよそどう進むと思うか?世界はどうなるのか?


良い質問だ。まずここ数年の話をすると、いつでも荒唐無稽なことが起きうる。これはあくまで中央値的なシナリオの推論であり、いつでも逸脱しうる。


しかし今のところ見えてきたのは、AIは長い間、世界にほとんど影響を与えてこなかったということだ。能力が何度も倍増しても、それは「人間以下」の段階にあったからであり、しかも人間以下と言っても、人間を使って仕事をする方がAIを使うよりずっと割に合うという程度だった。そしてここ数年、ますます多くの場所でその線を越え始め、世界に影響を与え始めた。


まだ世界を完全に作り変えてはいない。しかし重要な業界が次々とその臨界点を下回り、AIがある分野で突然人間よりはるかに効率的に生産するようになれば、それらの分野でかなり急速な爆発が起きるのがわかるだろう。だから今後1、2年で、さらにいくつかの分野、おそらくかなり重要な分野が、数学やソフトウェア開発と同じ道を歩むと思う。最先端の仕事は実際のところ大部分をAIモデルが担うようになる。世界全体が覆されるわけではないが、いくつかの場所で顕著な変化が見え始めるだろう。


問題はたくさんある。少し引いて言おう。一つは、何かが混乱や破滅的な誤りに向かうことはあるのか。最も明らかな例は、制御を失ったAIが武器のようなものに触れることだ。たとえば、ある核大国への脅威を探知するために使われるAIシステムが制御を失い、一度に千発以上の弾道ミサイルを発射してしまう。これは一つのシナリオであり、今後10年に起こる確率は高くないと思うが、ゼロではない。起こる可能性はある。


終末的なシナリオをひとまず脇に置くと、今後10年で私たちは、突然、ほとんどの職業で人間が不要になる世界にいるかもしれない。短期的に世界の変化がそれほど大きくなくても、これは社会の文化を根本から歪めるだろう。その影響は計り知れない。もし私たちがもはや仕事で自分を定義しなくなったら。そして、ある業界の産出がますます人間に理解しにくくなり始めたら、何が起こるのか。それはAIが静かに乗っ取りを完了したということなのか。それらのAIは人間をどう見るのか。


これらの問いに今後10年で答えが出るかはわからない。しかし、それらが一気に、あるいは少なくとも次々と噴き出してくる可能性は高いと思う。そして多くの面で、人間が自らの未来の中心的な決定者であるという地位は、その時点でもう壁に書かれているだろう。


あなたは主流になるずっと前からこれらの考えを持っていた。2021年、ChatGPTがまだ主流製品になっていなかった頃、AIのこの曲線がどう進むと考えていたか。


ここでの功績の多くは私のものとは言えない。重要な言葉の多くは他の人が書いたもので、私は很大程度上、彼らが言ったことを強調したり、復唱したりしているにすぎない。


しかし、いくつかの考え方がある。一つは、AIが2020年頃までに何を成し遂げたかを見ることだ。答えは、ほとんどの分野で何も成し遂げていない。ほとんどの分野でAIを使ってみると、少し愚かで、10年前に比べれば確かに印象的なほど良くなっているが、それでもまったく役に立たない。しかし少数の事柄、特に訓練された事柄では、すでに人間を超えている。たとえばほとんどのチェス、国際チェスや囲碁、ビデオゲームのようなより複雑な分野でも現れ始めている。


もしAIが永遠にチェスが得意なだけであれば、大金は稼げないし、社会秩序を覆すこともできず、未来を大きく変えることもできない。しかし、チェスがAIにできることのすべてだと考える理由はない。それはずっと小さな起点から指数関数的に成長しており、あと何回倍増すれば、社会の重要な領域で人類を超え始めるだろう。


では私の質問は:それが指数関数的成長曲線だと信じているなら、なぜ当時Anthropicに5億ドルしか投資しなかったのか?


良い質問だ。答えは基本的にこうだ:会社を創業し、資金調達をするとき、通常は無限にお金を集めたいとは思わない。財務的な見積もりがあり、事業を立ち上げるのにどれくらいのお金が必要か大体わかっているので、それ以上の割合の会社株式を売りたくないのだ。


Anthropicは当時まさにその位置にあった。計算上、モデルを立ち上げるのに約5億ドルの計算資源費用が必要だったので、調達したのはその額だった。私たちは基本的に彼らのそのラウンドで調達しようとしていた資金をすべて投資した。


しかし、データセンターの生産能力はいつでもお金をかけて建設できるのではないか?もし彼らがもっと多くの資金を調達できたなら、なぜもっとGPUを買い、もっとデータセンターを建て、モデルを当時の他のフロンティアラボをはるかに超えるレベルに押し上げられなかったのか?


おそらく彼らはそうすべきだったかもしれない。私の推測では、一部の理由は必要以上に株式を売りたくないということだ。しかしもう一つの理由は、多くの会社が実は自らの成功、自らのキャッシュフローと手元の現金によって足を引っ張られているということだ。歴史的に多くの会社が大金を調達し、それをすべて広告に注ぎ込み、そのお金で何かをしなければならないと考え、最終的には何も得られず、ただ停滞してしまった。


だから私の推測では、彼らも当時、今後数年間で実際にどれくらいのお金が必要になるかを考え、できるだけ本末転倒にならないようにしていたのだろう。


FTXのベンチャーキャピタル部門が当時どのように運営されていたか話してもらえますか?誰が管理していたのか?あなたの投資ロジックは何だったのか?


参加した人々はバッチごとに入れ替わり、後に私たちは直接人を採用して専門化した。最初は私や会社の他の人たちが機会に遭遇するたびに一件一件投資していた。正直に言うと、Anthropicはこのカテゴリーに属する。


しかし後に私たちは非常に成功し始め、初期の多くは暗号資産投資で、正直に言うと基本的に毎年倍増し、暗号市場全体の背景においてもそうだったので、規模を大きくしようと決めた。私たちはRamnikやAmyなどを採用し、彼らにこの分野を専門に担当させた。


全体的に私はかなり高いレベルでポートフォリオ全体に関与している。そして特定の案件、Anthropicは明らかにその一つであり、Solanaももう一つだが、私はより深く関与し、少なくとも週次でフォローアップし、特にこれらの投資とAlameda、FTXの間に相互作用がある場合、または彼らを助けられることがある場合にはそうしている。


刑務所の中で得られる情報だけで、今の市場のアルファはどこにある?あなたの現在の投資判断は?


もっと良い答えが欲しい。4年前に何に投資すべきかについては、確かに良い考えがあった。しかし今日何に投資すべきか、本当の答えはこうだ:自分自身のアドバイスに耳を貸すべきではない。外に出て自分でデューデリジェンスをしなければ、まともな答えは出せない。


大きな方向性として、AIの上に築かれる企業が多数現れると予想している。2人の小さなチームが数年で数億ドル、あるいは10億ドル規模の企業になるようなケースで、しかもはるかに低いバリュエーションで投資できる。しかし問題は、同時に大量のゴミも出てくることだ。今はすべての企業が事業計画書にAIという一言を詰め込む。たとえ全く筋が通らなくても。例えばTシャツ企業でも「AIでTシャツをデザインする」と言う。まあ、多少は役に立つかもしれないが、本質的にAI企業ではないのに、AI企業として再パッケージしているだけだ。


だから今のアルファの大部分は、この2つを区別することにある:どの企業が本当にAI企業なのか、どの企業が本当にAIによって爆発的成長を遂げられるのか、そうでないのはどれか、少なくとも現時点ではそうでないのはどれか。大型株を見てもわかる。初期の多くの市場参加者は、実はアマゾン、グーグル、アップル、ネットフリックスを区別する方法を知らなかった。どれもテクノロジー企業だとして、AIがそれらに同じ影響を与えるのか?答えはもちろんノーだ。そのうち少数の企業だけがAI成長と深く結びついており、エヌビディアが最も明らかな例だ。一方、アップルのような企業は確かにテクノロジー企業だが、過去30年間のアップルの成功を定義してきたものは、本質的には優れた消費財製品デザインだ:美しいハードウェア、使いやすいソフトウェア、そして強力なブランド。少なくともテクノロジー企業に関して言えば、これはAIを核としたものではない。


では、真のAI企業ではない企業、例えば従来のソフトウェア企業はもう終わりなのか?それともAIを使う企業だけが生き残れるのか?


AI企業だけが成功できるとは思わない。まず、一部の業界ではAIが大きな影響を与えるのはずっと先だ。例えば鉄鋼採掘。世界は依然として鉄鋼を必要としており、今やAIが物理的な採掘に介入し始めているので、一夜にして関連性を持つようになった。


しかしもう一つ私が重要だと思うのは、ブランドだ。ソフトウェア企業があり、製品があり、時価総額も小さくない。そこに競合が「ほぼ同じものを安く作れる」と言う。確かにそうだが、だからといって誰もが買えるわけではない。ブランドがそこに存在することには、極めて、極めて大きな価値がある。


コインベースやロビンフッドのような企業を見てほしい。彼らの真の差別化とは何か?なぜそれぞれ数百億ドルの価値があるのか?技術のせいでも、この分野で独自の何かを持っているからでもない。規制かもしれないが、彼らに関しては実はそれも完全には当たらない。ブランドだ。アメリカの個人投資家が認識し、使う名前。それは大きな金額に値し、多くの企業にとって、中核製品が非常に模倣されやすくなっても、このようなものは永続する。


あなたは、多額の財務決断にかける時間は通常、投資規模に比べて非常に短いと言っていました。これはベンチャーキャピタルではどのように現れますか。例えば、チームがプロジェクトを持ち上げてきた場合、承認するかどうか。


大きな部分は、ある人をある仕事のために雇うなら、その前提はその人にそれをうまくやることを信頼するつもりだということです。チームの誰かがすでに15時間かけて調査やデューデリジェンスを行ったなら、それは問題ありません。私は一通り見て、自分が補えることを補い、私が持っていて彼らが持っていないリソースを彼らに渡します。


しかしそれ以外に、もし私がその人が正しい判断を下し、正しく見たと信頼するつもりがないなら、私は自分でもう一度その15時間をかけてデューデリジェンスをやり直さなければなりません。そこまで来ると、最初に彼を雇い入れたことに意味がなくなります。


刑務所で最もつらかった点の一つは、効果的利他主義運動を支援できず、「稼いで寄付する」ことができないことだと言っていました。出所後はどうするつもりですか。特に今、運動の中で多くの人がFTXと距離を置いています。


答えの一部はその日まで待たなければ出せません。今は私が持っていない情報が多くあるからです。世界は変化しており、しかも一部の情報は外にいる方が中にいるよりずっと得やすいのです。


しかし私は、「稼いで寄付する」ことに再び戻り、この運動を支援し、私が善行を行っていると考えるプロジェクトを支援することを非常に真剣に検討します。これはおそらくデフォルトの道になるでしょう。


それ以外の道は、私が社会でまだどのような役割を果たせるかによります。以前は私が多くの面で影響を生み出せる条件を本来持っていましたが、それらは今すべてずっと難しくなります。なぜなら私の評判は極めて否定的だからです。ですから公共の議論、政治、メディアといった面では、将来私がどのような役割を果たせるか、あるいは一つもないかもしれませんが、確信がありません。しかし「稼いで寄付する」ことはデフォルトの道です。


では具体的にどうやって稼ぎますか。暗号資産業界に戻りますか。


非常に真剣に検討します。それは私がいつ、どのような形で出所するかによります。しかし暗号資産は必ず検討しますし、AIも検討しますし、さらに広い意味での金融も検討します。


FTX Future Fundには多額の資金を出し、しかも単に成熟したEA慈善団体に寄付するのではなく、変動が極めて大きく、一度成功すれば上振れ余地が極めて高いプロジェクトを探していました。Future Fundの中で最良のプロジェクトはどれだったか振り返ってもらえますか。全体として、GiveWellのトップ慈善基金にお金を投じるより効果的でしたか。


私は確かにそれがより効果的だと考えます。


私たちが行った多くは「再助成」(regranting)です。つまり一つの資金を一群の人に渡し、彼ら自身にどの小規模プロジェクトに投じるかを決めさせ、この方法で、もともと私たちのレーダーの外にあった機会をクラウドソーシングで引き出すのです。AI安全、生物安全、政治などの分野で潜在能力が非常に大きいのに資金を必要としている人が多くいます。それほど多くはなく、おそらく大学を卒業するのに足りる程度、あるいは会社を立ち上げるのに足りる程度かもしれません。私たちはこの種の資金を喜んで提供します。


その多くは個別に見れば小さいが、レバレッジは非常に高い。合わせて見れば、影響は顕著だ。しかも我々は、始めたばかりの人たちに喜んで資金を出す。彼らには慈善のアイデアがあるか、あるいは世界に役立つ別のツールがあるかもしれず、成功するかどうかは分からないが、試すためにお金が必要だ。我々の状況としては、その一部が最後に立ち消えになっても気にしない。我々は一つのプロジェクトに達成感を得たり、善行をしたことを証明したりすることを依存していない。


最終的にこれはかなり効果的な方法だと思う。部分的には、当時、数千万から数億ドルを受け取って効率的に使い切れる成熟したプロジェクトを見つけるのが難しかったからだ。ある組織の年間予算が800万ドルで、突然3000万ドルを追加で与えても、そのお金をどう使えばいいか全く分からないかもしれない。


特に際立った例はありますか?


Anthropicへの投資は厳密には基金設立前であり、一部はAI安全の考慮によるものだ。これは一旦置いておくとして、我々はバイオセーフティ分野のプロジェクト群に資金を提供し、その一部は後に感染症に対する新たな治療法を生み出した。世界中で多くの人を殺すような病気だ。また、そうした治療法をより早く上市させる道筋を切り開いている組織もある。


本来大きな潜在的影響があったにもかかわらず、危機が来たときに中止された事柄は多くあると思う。その中には政治的なプロジェクトも少なからず含まれる。


Anthropicへの投資は高リターンだけでなく、AI安全の公益的な性質も帯びていると述べていました。Anthropicが先行すれば、AGIや超知能への競争ははるかに安全になると本当に思いますか?なぜですか?


もちろん誰にも確信はできない。しかし私の推測はこうだ。安全を特に気にかける企業が一つでもあれば、それがもたらす開発の仕方は、それがなかった場合よりも慎重になる。これは期待できるすべてではない。世界の安全を全く気にかけない参加者が一人でもいれば競争が生じ、しかも底辺への競争になりかねず、それは非常に悪い。しかし、安全意識を持つ参加者が一人増えることは助けになる。


それは実践ではどう現れますか?p(doom)(AIが人類の絶滅や文明の破壊を引き起こす確率を意味する用語)を下げるために、具体的に何をするのですか?


この問いは彼ら自身が答える方が私が答えるよりうまい。しかし大きな方向性としては、一部はモデルが制御不能になり始める可能性があるときに、最前線の開発とリリースを減速させることだ。


Hugging Faceがハッキングされた件を見れば、最終的な損害は大きくなかったが、標的が変われば極めて破壊的になり得て、しかも世界的な大災害から遠くない。「AIエージェントが実際に何を成し遂げる必要があるか」という観点からすればそうだ。だからモデルをそのように制御不能にしてはならないと非常に明確にし、できるだけ多くのチェックポイントを設け、モデルの最終目標、指導原則、アラインメントにできるだけ真剣に取り組み、同時にリアルタイムの対応能力を保つ。これらは完璧ではないが、助けにはなる。


ある説では、たとえAnthropicが最も安全な方法は減速することだと考えても、減速できない。なぜなら中国や、安全をそれほど気にしない他の企業が先に進んでしまうからだ。だから実際には実行不可能だという。どう思いますか?


それは本当の問題だ。おそらく世界にとって最良の結果は全員が減速することだが、他人が減速しないからといって、自分が減速することが正しいとは必ずしも言えないし、底辺への競争に突っ込むことでもない。この競争に安全意識のある競争者が一人増えるのは良いことかもしれないが、明らかに理想的な状況ではない。ただ、私たちはたまたまこの状況に生きているだけかもしれない。


本当に最良の方法は、他の参加者に働きかけ、できるだけすべての主要プレイヤーが陣営を超えたコンセンサスに達し、皆がより安全を重視するようにすることだ。


あなたは第2次トランプ政権を全体的に支持しています。では、トランプ政権の多くの人々、トランプ本人を含め、非常に反効果的利他主義的な立場を取っていることについてどう思いますか?


彼らはある具体的な出来事に反応しているのだと思うが、詳細はよく分からないので、期待するほど的確には話せない。それとは別に、バイデン政権は当時非常に……


しかし、もし政府が人々に効果的な慈善寄付を思いとどまらせているなら、純効果としては極めてネガティブではないですか?このような世論によって効果的利他主義者でなくなる人もいるでしょう。


それはネガティブだろう。


計算能力はまだ拡大しており、Anthropicの今回のIPOでも多くの資金を調達できる。では、ASIはいつ来るのか?あなたのタイムラインは?


それが白黒はっきりした離散的な出来事になるかは分からない。そうかもしれないが、同様に、今後5年で社会の一部がAIに一つずつ飲み込まれていくのを目の当たりにするかもしれない。ソフトウェア開発ではすでに起きており、数学研究も同じだ。チェスや囲碁はもっと早く起きた。この傾向は続き、社会のますます多くの部分がAIによって運営され、人間の監督の程度は時間とともに絶えず低下していくだろう。


ほとんどの人は、現在のAIがすでに「超人であり、汎用的な意味で全面的に人間を超えている」、つまりすべてのタスクで人間より優れているとは思わない。この定義によると、私たちはASIに近いと思いますか?それは起こりますか?


かなり汎用的になっていると思う。最先端のモデルにはほとんどどんな質問でもでき、少なくとも賢い人間と同等の答えが得られる。あまり見かけないのは、AIが人間には根本的に突破できないレベルを突破することだ。


私の理解では、現在の最先端レベルは、非常に賢く理性的な人が十分な時間があれば最終的に到達できるレベルにほぼ相当する。ただしそれは瞬時で、すぐ手の届くところにある。これが超人と言えるかは分からない。人間より少し優れていると思うが、それほどではない。多くのインスタンスを同時に実行でき、思考速度が人間よりはるかに速いことを除けば。


だから、それは必ずしも人間から超人への明確な境界線になるとは限らない。少なくとも今のところ、私たちが見ているのは曖昧な線だ。それは「人間以下」からゆっくりと、ゆっくりと言っても実際には数か月、数年で、IQ100まで進む。この傾向が続けば、ある瞬間に「パッ」と明らかに越えるということはないかもしれない。しかし、ある年には人間レベルから明らかに人間を超えるレベルへと飛躍する可能性もある。


あなたはずっと p(doom)、つまりAIが大多数の人類の絶滅を引き起こす破滅的な事象の確率に数字を与えていません。数字を出せますか?


50%未満、10%以上、大体25%くらいだと言える。


説明しておくと、私の頭の中のこのモデルが最良のモデルだとは言えない。その確率の大部分は、人々の間で意見が大きく分かれる複雑な状況に由来する。もし将来人類が脳のアップロードを始め、アップロードしなかった人が取り残されるなら、それは破滅的な事象に数えられるのか? 人によって答えは異なる。答えによって、私は20%から60%の間の任意の数字を出すことができる。


20%から60%という範囲について、あなたの推論は何ですか?


まず起点から言うと、今後5年から10年、あるいはもっと短い期間で、AIはほとんどのタスクで人間と同じか、それ以上になる可能性が高い。すでに多くの分野でそうなっている。そしてそれはさらに良くなり、もしかすると大幅に、もしかすると少しだけ、すべてではないが世界にとって重要なほとんどのタスクで良くなる。


その段階に達すると、AIが世界の大部分を運営し、大部分の権力を掌握するまであと一歩だ。より強力な種が、百年の間ずっとその権力を使わないという確率は、私にはかなり低いと思える。だから私は、今後十年のうちにAIが少なくとも世界の大部分の運営とインフラを「ソフトに乗っ取る」のを目にするだろうと考えている。


その時点で、一つの可能性は平和的な共存であり、人類に大きな変化は起きないが、これは最も可能性の高い推測には見えない。私は、人類がAIの助けを借りて現在を超える何かに成長する可能性があると思う。また、AIが人類に退屈して、私たちを一掃する可能性もある。さらに、AIが主導するが人類の目標を指向した協働作業が、巨大な技術的拡大をもたらす可能性もある。私の20%から60%というのは、そのうちどの状況を「終末」のカテゴリーに数えるかによって決まる。


もし超知能AIがいて、あなたのあらゆる意思決定の期待効用を最大化できるなら、あなたは意思決定権をそれに委ねますか?


もし私が100%確信しているなら、それがまさにそれをしていると。それがその目標であると確信するだけでなく、それが何らかの破壊的な故障モードに陥っていないこと、混乱した曖昧な近似の山がないことを確信しているなら、これらの仮定がすべて成り立つ前提で、答えはイエスだ。


あなたは潜在的な終末シナリオと「マインドアップロード」が関係していると述べましたね。あなた自身はアップロードしたいと思いますか?


おそらくそうするでしょう。繰り返しますが、詳細次第ですが、私自身はこのことに対して反対意見はありません。


アップロード後も自分は同じ人間だと思いますか?これはあなたの世界観をどう変えますか?


良い質問ですね。私は「人格」という概念を拡張する必要があると思います。すでに事実として、昨日の自分と完全に同じ人間など誰もいません。私たちの一部は死に、一部は成長しました。記憶は変わり、化学反応は変わり、身体は変わり、神経化学も変わりました。しかし通常、日々の差異は十分に小さいので、「同じ人間」というのは良い近似です。


そして現在の AI は明らかにそうではありません。これこそが参照すべきモデルだと思います。ある Claude Sonnet とある Claude Opus は同じ人間でしょうか?「はい」も「いいえ」も良い答えではありません。もし「アップロードされた人間」がいるなら、状況も同じだろうと思います。


最近 LLM を試せたのはいつですか?印象はどうでしたか?


ここではモデルの出力をコピー&ペーストしてもらうことができます。私の印象では、それらは基本的に細心で真面目な研究アシスタントであり、ただどれだけ速く考えてもよいかという点で、一日の仕事を一分で終わらせることができ、これは非常に素晴らしく、価値があります。


しかし私の現在の印象では、それらが行うことのほとんどは人間にもできますが、人間は時間がかかります。そして信頼できる人がそれらを導き、情報にアクセスでき、現在のモデルがすでに事前に接続している一連のものが必要です。


FTX 時代にあなたはいくつかの非常に興味深く革新的な金融商品を立ち上げました。Brett Harrison によると、あなたが最初に FTX について思い描いたものの一つが政治予測市場だったそうです。話してもらえますか?


FTX は最初は暗号資産取引所で、ビットコイン、イーサリアム、およびそれらの先物を扱っていました。しかし根本的に言えば、予測市場は先物契約です。金融の観点から見ると、両方ともある価値に決済される市場にすぎません。


ですから最初から私たちは予測市場を上場したいと考え、FTX 国際サイトでも試験的に試しました。2020 年の大統領選ではかなり活発な市場があり、トランプ対バイデンの市場は出来高が数億ドルだったと記憶しています。これは本来私たちが長期的に大きくしたいものでしたが、CFTC の規制上の明確化を得るまでは成長させられませんでした。


ご存じかわかりませんが、予測市場は最近どれほど人気があるか、Kalshi は現在 650 億ドルの評価額で資金調達しています。なぜ FTX は当時予測市場をこの規模にできなかったのですか?早すぎた、まだ主流ではなかったのですか?


私はかなりの部分が規制の問題だと考えています。私たちがやっていたとき、米国でそれを立ち上げるために必要なCFTCの許可を取得していませんでした。だから私たちの市場は国際サイトのみに開放され、米国人は参加できませんでした。その後、KalshiやPolymarketなどがより正式な米国の規制上の足場を獲得し、それがちょうど彼らが飛躍した時点でもありました。


Polymarketはオフショア取引所の状態でも成長しました。特に2024年の大統領選では、多くの米国ユーザーがVPNを使ってアクセスしていました。


当時、PolymarketはKYCを行っていなかったのでしょう?ないと思います。だからあなたが言うように、多くの米国人がVPNで入ってきた可能性が高いです。一方、私たちは中央集権型取引所として全ユーザーにKYCを義務付けており、IPチェックに加えて、米国以外の地域のID、パスポート、住所証明も必要としていました。


予測市場以外にも、当時あまり見られなかったデリバティブを上場していましたね。例えばトークン化株式です。これらの市場は今でははるかに大きくなっていますが、FTXでは規模が小さかった。今日、巨大な市場になるのにまだ主流になっていない製品は何だと思いますか?


トークン化株式にはまだ大きな余地があると思います。確かに2021年、2022年以降に成長しましたが、根本的にそのインフラは実際の株式市場よりもはるかに使いやすいので、証券取引の主要な場になれない理由はありません。


それに加えて、予測市場がカバーできる範囲は非常に広いです。政治予測市場はまだ私が期待したほどには伸びていないと思います。その一部は依然として規制の問題です。さらに引いて見ると、米国顧客向けの証拠金取引、先物、デリバティブは、もう一つの基本的に存在しないものであり、これこそが国際的に大部分の出来高を占める形態です。これも規制の障壁です。


だからそこにはまだ可能性があると思います。もちろん、私が予想しなかった多くのものが現れて、ほとんどの人を驚かせるでしょう。


FTXにはpre-IPO先物も上場していて、異なる満期の契約があり、異なる時点の評価額に賭けることができました。今では多くの暗号取引所がこれらの評価額に対する無期限契約を行っています。なぜでしょう?私個人の見解では、満期のある先物構造の方が実は優れています。


そうですね、顧客は無期限契約を好みます。一つ明らかなことは、それが基礎となる金融商品として合理的かどうかに関わらず、「満期を処理しなくていい」こと自体が便利だということです。実際のメカニズムは資金調達率の観点から見るとかなり複雑ですが、理由は基本的にこれだと思います。人は満期を気にするのを好まないのです。


では、彼らは資金調達率を支払うのは嫌ではないのですか?


実はそれほど気にしていない。多くの人はまったく無視している。資金調達率を有利な側に立って受け取る人もいる。私はそれが人々にとって大きな財務的な抑制要因になると思っていたが、そうではなかった。


なぜだと思う?


繰り返しになるが、利便性が大きな要因だ。そして多くの人は正直なところ、まったく考えたこともなく、自分がいくらの利息を払っているかもあまり気にしていないと思う。


その先は流動性が流動性を呼ぶということだ。一度それらの市場がコンセンサスになれば、顧客がそこにいて、マーケットメイカーがそこにいて、流動性がそこにあり、大口顧客もそこに行く。良い循環、フィードバックループが生まれ、皆が最初に勢いをつけた市場に集まる。


あなたは有名な言葉を残している:「私は本に対して非常に懐疑的だ……読む価値のある本があるとは思わないが、だいたいそうだとは信じている。本を書いたなら、それは失敗だ、本来は6段落のブログであるべきだった」と。今あなたは刑務所にいて、読書は数少ないできることの一つだ。今、読書についてどう思う?


私の見方はあまり変わっていない。多くの小説、多くのSFを読んでいる。まあまあだが、正直に言えば、Netflixを見るほうがいい。


出所後も時間を費やす価値があると思える本はある?


正直に言って、ない。好きなものもあるが、読んだSFの中で最高のものは、おそらく取るに足らないNetflixのドラマと交換するかもしれない。しかし、おそらく、かろうじて、だ。結局、予想より少しだけSFを読むのが好きになったかもしれないが、それほどでもない。


Netflixは本よりどこが優れている?ドラマを見るのも時間がかかるだろう。


時間はかかる。しかし一部は情報のスループットの問題だ。本は視覚だけで、しかも文字の視覚だけだ。ドラマには音声があり、視覚でもあり、視覚には文字だけでなく任意のピクセルを表示できる。だから情報理論の観点からは、できることがはるかに多く、それが大きく助けになっていると思う。


もう一つは、本にはドラマには通常ないものがある。人物の考えのナレーションだ。これは不要だと思う。しばしば冗長で、著者の視点の自己耽溺だ。そして今、金と人材はドラマに流れているので、自然とそこに最も多くの発展がある。


賭けがあるとしよう:51%の確率で地球の効用を別の場所で倍にし、49%の確率で全てがゼロになる。あなたはやる?勝ったらもう一ラウンド、倍かゼロか、ずっと続ける?あなたはTyler Cowenに、宇宙が互いに独立しているという前提で、「49%の確率で世界を破滅させ、51%の確率で効用を倍にする」賭けを受け入れると言った。その推論を説明できる?FTXが倒産した後、この見方は変わった?


そのシナリオが成立するには、多くの前提が必要だ。宇宙は相互に独立していると仮定しなければならない、君が言ったように。これは一度しか訪れない機会で、将来より低いコストで再現することは不可能だと仮定する。そして口に出されていない仮定もたくさんある。


しかし、一つの単純化の方法がある:二つの世界、人口はほぼ同等、未来への期待もほぼ同等、そして完全に互いに独立していて、決して相互作用せず、互いの光円錐の外にあり、どう言ってもいい。そしてどういうわけか、ある奇妙な異星の神が降臨して言う:この二つの世界はそれぞれ50%の確率で滅びる;そして君は何らかの理由で、この異星の神が言っていることは真実だと信じている。それは言う、君はそれらを相関させるか、反相関させるかを選べる。選択肢一:両方とも生き残るか、両方とも滅びるか、それぞれ50%。選択肢二:一つが生き残り一つが滅びる、ランダムで、どちらがどちらか君にはわからない。


そのシナリオでは、この二つの選択は等価だとはっきり思う。そしてもし片方が君に51対49のオッズを提示するなら、「同生共死」ではなくそちらを選ぶべきだ、なぜならそれぞれの世界はもう一方の世界がどうなろうと気にしないからだ、どうせ決して相互作用しないのだから。そしてこれはほとんど最初の問いと同じだ:君は「ちょうど一つの世界が生存する」ことと「50%の確率で両方とも生存する」ことの間で選択しなければならない。


その期待値は正だが、幅は大きくない。しかしもし君がずっと続ければ、十回で千倍以上になる。成功回数が増えるにつれて、限界効用は逓減し、期待値はほぼトントンになって、君はこのゲームをあまりやりたくなくなるのだろうか?


これは興味深い問いで、これらの「倍々」が一体何を倍にするのかによる。君は限界効用の逓増、限界価値の逓減について語っているが、それは「何」の効用なのか?


もしこれが宇宙全体の長期的に累積された効用を指すなら、そうではない、効用はそれ自体に対して線形だ。しかしもしそれが実はある種の近似指標で、例えば君が見ているのがGDPで、「GDPは倍になるか」と言っているなら、非常に深い限界収益の逓減が存在する可能性が高い。


まず、GDPが倍になることは、すべての人の幸福が倍になることを意味しないし、ましてや世界の長期的な期待値が倍になることを意味しない。そのGDPの倍増は、本来三十年後にも起こったかもしれない;あるいは深刻な環境破壊を引き起こしたために、最後にはまた崩れ落ちたかもしれない。だから現実世界では、君が測定に使うそれらの指標は、君が本当に気にかけているものではないかもしれない。


限界逓減なしで十倍、百倍になれる指標はあるのか?それはどんなものになるだろう?


一つある、ただし前提を加えなければならない:近い将来にどれが本当に実現できるかは確信できない、これらには技術進歩が必要だ。他の惑星への植民、太陽系への植民、銀河系への植民、最終的には君は本当に互いに独立した世界を手に入れる、君はただより多くの人類の繁栄を実現しているだけだ。これは一つの例だ。


もし視点を変えたら:人口は変わらず、永遠に十億人を維持し続けたとして、彼らの幸福を不断に倍増させることはできるだろうか?答えは、私たちは本当には分かっていない、だと思う。これはほとんど生物学の問題であって、他の問題ではない。人を満足させ、適度に幸せにするのは別のことだ。人を狂喜させるのは難しく、何が人を二倍、十倍に狂喜させるかを想像するのはさらに難しい。それは人間が通常体験できる感情の範囲にはまったくない。理論的には可能かもしれないが、私たちには良いテンプレートもなく、それを実現する技術や生物学もない。


現在のAIの発展は、あのコイン投げの現実版だと思うか?もし二者択一を迫られたら:A、AIの発展を鈍らせ、p(doom)を10%から2%に下げる;B、突き進み続け、より高いp(doom)を受け入れてより高い上振れ余地を取る。どちらを選ぶ?


より明確なアナロジーは、「突き進み続ける」と「すべてのAIまたはAI類似の発展を永久に断ち切る」の間で選ぶことだと思う。なぜなら、そうすれば基本的に「世界が深刻なリスクに直面する」と「世界の繁栄能力を制限する」の間で選択することになり、後者は最終的に何らかの自動化やデジタル知能を必要とする可能性が高いからだ。だからその場合、この道を永久に封じることは、未来にとって非常に大きな代償となる。


しかし、単に「速いか遅いか」だけであれば、それほど明確ではない。なぜなら二つのモデルが使えるからだ。一つは「永遠の指数関数的成長」モデル:一度加速が始まれば、効用は毎年倍増し、永遠に終わらない。このモデルによれば、一年早く始めることは宇宙を永久に倍にすることを意味するが、これはやや虚ろで、永遠に続くことはあり得ない。


もう一つは、それを特異点的な出来事と見なし、その後ある新しいプラトーに到達するが、その高さは高度に未知である。ことが起きた後、宇宙にはまだ数十億年あるかもしれない。ならばこれを一年、十年、あるいは百年遅らせても、このモデルでは未来の効用の1%すらほとんど減らさない。このモデルによれば、p(doom)を1%下げるために発展を百年遅らせることは完全に厭わない。


もちろん、真の答えはおそらく両者の中間にある。そして「AI爆発シナリオにおいて効用の時間曲線がどのような形になるか」は、非常に興味深い問題だと思う。


多くの人が、その問題へのあなたの回答に基づいてあなたの世界観を要約しようとする。「常に期待値が最も高い賭けを選ぶ」。これは合理的な要約か?


それは一部だ。しかし私の回答の最初の部分は:多くの前提がある、ということだ。その答えを導くには、状況について多くのことを仮定しなければならず、それらの仮定は現実生活ではしばしば成り立たない。現実では、すべての選択肢は提示された姿よりもはるかに混沌としている。そして現実世界では、あることをうっかり台無しにする方が、あることを築き上げるよりもはるかに容易だ。


では例を使ってみましょう:コインが一枚あり、51%の確率で明日釈放され、49%の確率で残りの刑期が倍になるとします。あなたは賭けますか?


もちろんです。


なぜなら私の刑期は終身刑だからです。現実的に言えば、私の目標は60歳で出られることを保証して、それから山小屋を見つけて数年過ごすことではありません。それは私の人生への期待ではありません。私は自分が世界にプラスの影響を与えられることを望んでおり、そのためには外にいる必要があります。そのためには高いプレミアムがあります。代償が生産性のなくなった人生の最後の数年を失うことなら、その価格は完全に払う用意があります。


これらの前提があるからこそ、逆に賭けない例を挙げられますか?


はい。現実にはコイン投げのように見える状況があります:表なら、あなたのモデルはそれが世界の成長を倍にできるかもしれないと示す;裏なら、それは世界を破滅させるかもしれない。このようなコインには絶対に賭けてはいけません。


なぜなら現実世界では、まず、その50%のうち「世界の成長を倍にする」部分は、あなたがおそらく他の誰かが遅かれ早かれ作り出すものを生み出したのであり、それはおそらく真の、永続的な世界価値の倍増ではないからです。そしてもし世界が破滅すれば、それは永続的で、永遠に失われます。


だから私は、現実のシナリオでは不確実性とノイズをあらゆる段階に加えると、破滅的な破壊の重みがはるかに大きくなり、適度な成長は依然として良いものの、はるかに及ばないと考えます。


もう一つのコイン投げの例を見てみましょう。あなたは完全に無宗教だと言いました。しかしパスカルの賭けは常にそこにあります:神を信じることは正の期待値ではないでしょうか?もし本当に来世があり、信じなければ地獄に落ち、今日信じるコストは限られているなら、これはもう一つの例ではないでしょうか?


同じ論理で、もしこの論理があなたが考察する宗教の具体的な内容と全く関係ないなら、それは同様に「電柱教」にも当てはまります:もし一生を電柱の崇拝に費やせば天国に行け、そうでなければ地獄に落ちる。では、一生を電柱の崇拝に捧げるべきだということになるのでしょうか?


同じ論理で、それは同様に「反電柱教」にも当てはまります:電柱を崇拝すれば地獄に落ち、電柱を冒涜すれば天国に行ける。では、一生を電柱に反対することに費やすべきだということになるのでしょうか?同じ論理が、あなたに二つの完全に相反する答えを与えています。


答えは:この世界に対して、あなたは無限に多くの奇妙な仮説と可能性を想定できますが、無限に多くの不合理な可能性すべてに顕著な正の確率を与えることはできません。


効果的利他主義に関連するもう一つの期待値の問題:多くのEAはAI安全を最優先にしています。それは正の期待値であり、私たちがお金を使えば人類の絶滅を避けられるかもしれないからです。なぜなら私たちはAIをアライメントできるからです。この推論は成り立ちますか?


部分的に成立する。この推論自体は絶対に正しい:これはおそらくAIの決定的な10年であり、その潜在的な影響は世界を変えるもので、極めて良い方向にも、破滅的にもなり得る。そしてそれは、決して世界を変えない、あるいは今何をしても世界を変えられない事柄を圧倒する。だからこれは非常に説得力のある論証だ。


しかしそれが答えていないのは:実際にあなたに何ができるのか、ということだ。多くの人が結局堂々巡りしているように思う。AI安全こそ自分が捧げるべき事業だと決め込んでも、実践の中で本当にAIをより安全にできることを何も見つけられない。つまり、「何が本当に意味を持ち、何が本当に役立つのか」という洞察を提示することは、非常に価値があり、非常に重要だ。


最近のHugging Faceがハッキングされた件に関するいくつかの報告書を見ればいい。誰にも分からないが、どうやらそれらの報告書は期待値の上で世界にとってかなり有益で、それは大変良いことだ。ただ、そういう明確にポジティブで大きな善を見つけるのは簡単ではないし、今は大きな議論がある:EAの様々な行動がAI安全にとって正なのか負なのか。


AGIをアラインメントするために自分がどうするか分かっているか?文明として、今我々の最良の一手は何だと思うか?


私の正直な推測は、悪魔は細部に宿る、ということだ。単一で明確な高次の答えがあり、どの企業もそれに従えばほぼ安全に進めると保証できるだろうか?それは膨大な意思決定の組み合わせであり、それらの決定はすべて同じ心構えから生まれる:自分が創造するモデルのアラインメント、目標、動機を非常に気にかけ、たとえ設計意図がそうでなくても、それらがエージェント的に使われると想定すること;同時に大量のテスト、大量のデバッグ、大量の慎重さが必要だ。


FTX Future Fundが多くの善行を行ったというあなたの主張は皆知っている。では、FTXの台頭から崩壊までの全体は、たとえ結末がこうであっても、Future Fundが行った善行のせいで、価値があったと思うか?


価値はなかった。価値があったと信じたいが、正直に価値があったとは言えない。価値があるべきだった。最後に私がしくじらなければ、価値があっただろうと思う。人々がそこから正しい教訓を学べば、おそらく価値があったかもしれないが、人々は学んでいないと思う。


では、人々が学ぶべき教訓とは何か?


いくつかが絡み合っている。多くは「物事が爆発するときに何が起こるか」についてで、危機モードにいるときのことだ。そのときは悪い助言を得やすい。多くの人が本当に重要なものの判断をすぐに失う。そして物事はすぐに「誰が勝者か」というレンズで歪められる。一歩引いて実際に何が起きているかを見極めるのは、本当に難しい。

もしシンギュラリティが本当に近づいているなら、私たちは超人的AIの閾値に立っている。もしあなたが私で、今日14歳なら、最大のポジティブな影響を生み出すためにどう歩むか?


最初にすべきことはAIをできる限り徹底的に学び、深く理解することだと思う。そうすれば、ツールを作るにせよ、直接AI安全性の観点から入るにせよ、この対話に参加できる。これが今最も重要だと思う。


AI以前なら、あなたはおそらく「稼いで寄付する」と言い、トレーディングを磨いて大金を稼ぎ寄付するだろう。今は変わったのか?


なぜなら、今からAIの離陸までの時間が圧縮されているからだ。まず別のものを作るために使える時間は短くなり、同時にAI自体を理解することの有用性は巨大になっている。だからたとえ目標が会社を立ち上げ、それで稼いで寄付することでも、今の大多数にとってはこう言うだろう:AIが自動化でき、本当に有用で本当に重要な領域、私たちのインフラのどこかの分野を探すことだ。それが私なら見る方向だ。


BlockBeats の公式コミュニティに参加しよう:

Telegram 公式チャンネル:https://t.me/theblockbeats

Telegram 交流グループ:https://t.me/BlockBeats_App

Twitter 公式アカウント:https://twitter.com/BlockBeatsAsia

举报 訂正/通報
ライブラリを選択
新しいライブラリを追加
キャンセル
完了
新しいライブラリを追加
自分のみが閲覧可
公開
保存
訂正/通報
送信