Partnered With:

DeepMind創業者インタビュー：AGI アーキテクチャ、エージェントの現状、および次の10年の科学的なブレークスルー

この記事を読むのに必要な時間は 63 分

「継続的学習、長期的推論、および一部のメモリーの側面にはまだ課題が残っており、AGI の実現にはこれらすべてを解決する必要があります。」

Original Video Title: Demis Hassabis: Agents, AGI & The Next Big Scientific Breakthrough

Original Video Source: Y Combinator
Original Text Translation: Deep Tide TechFlow

Editor's Note

Google DeepMind の CEO であり、ノーベル化学賞受賞者である Demis Hassabis が Y Combinator に出演し、AGI に至る道筋、起業家が先を行くためのアドバイス、そして次なる重大な科学的ブレイクスルーがどこに現れるかについて話し合いました。

深層テックの起業家にとって最も有用な判断は、もし今日、10 年後の深層テックプロジェクトを立ち上げるとしたら、AGI の出現を計画に組み込まなければならないということです。さらに、DeepMind から分かれた AI 製薬会社 Isomorphic Labs がまもなく重要な発表を行う予定であることも明らかにしました。

Key Quotes

AGI Roadmap and Timeline

- "The existing technical components will almost certainly be part of the final architecture of AGI."

- "The problems of continual learning, long-range reasoning, and certain aspects of memory are yet to be solved, all of which AGI needs to address."

- "If your AGI timeline, like mine, is around 2030, and you start a deep tech project today, you must take into account that AGI will likely appear halfway through."

Memory and Context Window

- "The context window is roughly equivalent to working memory. The human working memory averages only seven digits, while we have a context window of millions or even tens of millions of tokens. However, the problem is that we stuff everything in there, including unimportant and incorrect information, and this current approach is quite crude."

- "If you want to process real-time video streams and store all tokens, a million tokens will only last about 20 minutes."

Deficiencies in Reasoning

- "I like to play chess with Gemini. Sometimes it realizes it's a bad move, but can't find a better one, so it ends up making that bad move after circling around. But a precise reasoning system shouldn't exhibit this kind of behavior."

·「IMOの金メダルレベルの問題を解く一方で、別の形で問題を提起すると小学校の数学の間違いを comitte してしまう。自己内省の思考プロセスにおいて、何かが足りないように感じます。」

エージェントと創造性

·「AGIに達するには、問題を自発的に解決できるシステムが必要です。エージェントはその道筋であり、私たちはまだまだ序盤に過ぎないと思います。」

·「誰かが vibe coding を用いてトップランキングの3AゲームをApp Storeにリリースした例をまだ見ていません。現時点で投入されている労力を考えると、それは可能であるはずですが、まだ実現していません。ツールやプロセスに何かが不足していることを示しています。」

蒸留と小さなモデル

·「私たちの仮説は、先進的なProモデルがリリースされて半年から1年後、その能力が非常に小さなエッジデバイスで実行可能なモデルに圧縮されるということです。現時点では、理論上の情報密度の限界に達していません。」

科学的発見と「アインシュタイン・テスト」

·「私は時々それを「アインシュタイン・テスト」と呼んでいます。すなわち、1901年の知識でシステムをトレーニングし、それから独立してアインシュタインが1905年に達成した成果、特に狭義相対性理論を導出できるかどうか。一旦それができるようになれば、これらのシステムは本当の新しいものを発明することに近づきます。」

·「ミレニアム賞問題を解決すること自体はすばらしいことです。しかし、それよりも難しいのは、新しいミレニアム賞問題のセットを提示できるかどうか、そしてそれがトップ数学者にとって同様に深く、一生をかけて研究する価値がある問題であるかどうかです。」

ディープテック・スタートアップのアドバイス

·「難しい問題を追求することと簡単な問題を追求することは実際にはほとんど同じですが、難しいのはアプローチの違いです。人生は短いので、他の誰もやらないことにエネルギーを費やす方がいいと思います。」

AGIの達成パス

Gary Tan：あなたはAGIについて考える時間がほぼ全員よりも長いです。現在のパラダイムを見て、あなたはすでにどのくらいAGIの最終アーキテクチャを持っていると思いますか？現在の基本的な欠如は何ですか？

Demis Hassabis：大規模な事前トレーニング、RLHF、Mind Chainsなど、これらはAGIの最終アーキテクチャの一部になると確信しています。これらの技術は今日までに多くのことを証明してきました。私には、2年後にこれが行き詰まりだとわかることができません。ただし、既存のものに加えて、まだ1、2つ問題が残っています。持続的学習（Continual Learning）、長期推論（Long-term Reasoning）、メモリの特定の側面など、いくつかの問題が解決されていません。

AGI を完全に実現する必要があります。既存の技術にいくつかの漸進的イノベーションを加えればそのレベルまで拡張できるかもしれませんが、まだ1〜2つの大きな鍵となるポイントが残っているかもしれません。1〜2つを超えるとは思いません。私的な判断では、未解決の重要なポイントがあるかどうかは五分五分ぐらいです。ですので、Google DeepMind では、両方のラインが前進しています。

Gary Tan: 多くのエージェントシステムと関わってきましたが、最も驚いたのは、基本的に同じセットの重みを使い回していることです。したがって、継続的な学習というコンセプトは非常に興味深いものです。現時点では、私たちは基本的に応急処置で済ませている状況であり、例えば、「夜の夢の周期」といったものがその一例です。

Demis Hassabis: はい、夢の周期はかなり面白いですね。過去には、シーンの記憶の統合についてこの問題について考えたことがあります。私の博士研究は、海馬が新しい知識を既存の知識構造に優雅に組み込む方法を研究していました。脳はこの点で非常に優れています。

脳は睡眠中にこのプロセスを完了し、特に REM 睡眠中に重要な経験を繰り返し再生して学習しています。私たちが最初に作成した Atari プログラム DQN（DeepMind が2013年に発表したディープ Q ネットワーク、Atari ゲームでのディープ強化学習で人間並みの成績を達成した最初のもの）は、Atari ゲームをマスターすることができ、その中で経験のリプレイが重要な方法でした。

これは神経科学から学んだものであり、成功したパスを繰り返し再生することを意味します。それは2013年の出来事であり、AI分野では古代のことですが、その当時は非常に重要でした。

私は、今は確かに私たちが応急処置を使っていると同意します。すべてをコンテキストウィンドウに詰め込んでいます。これはあまり適切ではないように感じます。機械である以上、理論上は百万、千万レベルのコンテキストウィンドウがあり、メモリは完璧であっても、検索と取得のコストが依然として存在します。現在の意思決定の瞬間に、本当に関連する情報を見つけることは簡単なことではなく、すべてを保存できたとしても、実際にはその時に必要な情報を見つけることは容易ではありません。ですので、私はメモリ領域にはまだ多くの革新空間があると考えています。

Gary Tan: 率直に言って、百万トークンのコンテキストウィンドウは私の予想をはるかに上回るもので、多くのことができます。

Demis Hassabis: 多くの場合、それは使用すべきシナリオにとって十分です。しかし、コンテキストウィンドウは作業メモリにほぼ相当します。人間の作業メモリは平均して7桁ですが、我々は百万から千万のレベルのコンテキストウィンドウを持っています。問題は、重要でない、誤った情報を含むなど、現時点ではかなり荒っぽい方法であることです。さらに、現実時間でビデオストリームを処理する必要がある場合、すべてのトークンを単純に録画しようとすると、100万トークンは実際には約20分しか持ちません。しかし、1〜2か月間のあなたの生活状況をシステムに理解させたいとしたら、それではまだ十分ではありません。

Gary Tan：DeepMindは長い間強化学習と探索に重点を置いてきましたが、その哲学は現在のGeminiの構築プロセスにどの程度組み込まれていますか？強化学習はまだ過小評価されていますか？

Demis Hassabis：おそらく実際に過小評価されているかもしれません。この領域への関心は激変しています。DeepMind設立以来、私たちはエージェントシステムに取り組んできました。すべてのAtariやAlphaGoでの作業は、本質的に強化学習エージェントに属します。目標を自律的に達成し、意思決定を行い、計画を立てることができるシステムです。もちろん、当時はゲーム分野を選んだので、複雑さが制御できるところから始め、段階的により複雑なゲーム、たとえばAlphaGoの後にAlphaStarなどを行い、基本的にできるゲームをすべて行いました。

次の課題は、これらのモデルを世界モデルや言語モデルに一般化できるかどうかです。過去数年間、私たちはこれに取り組んできました。今日、すべてのトップモデルの考え方とチェーン推論は、本質的にAlphaGoが当時開拓したものへの回帰です。

私たちは、私たちが過去に行った多くの仕事が今日に非常に関連しており、昔の考え方を再検討し、より大規模で一般的な方法を用いること、モンテカルロ木探索などさまざまな強化学習の手法を含む、AlphaGoとAlphaZeroのそのような考え方は、最終的にユーザーのさまざまな作業に役立つことを願っています。

Knowledge Distillation and Small Models

Gary Tan：今、より賢くなるにはより大きなモデルが必要ですが、同時に蒸留技術も進化しており、小さなモデルでも非常に迅速になることができます。あなた方のFlashモデルは非常に強力で、基本的には先端モデルの95%の効果を達成できますが、価格は10分の1ですよね？

Demis Hassabis：これは私たちの中核的な優位性の1つだと思います。最初に最大のモデルを構築して、先端技術を獲得する必要があります。私たちの最大の利点の1つは、その能力を迅速に蒸留し、ますます小さなモデルに圧縮できることです。この蒸留手法は、私たちが発明し、今でも世界トップです。そして、この取り組む動機が非常に強いです。私たちはおそらく世界最大のAIアプリケーションプラットフォームです。

AI OverviewsとAI Mode、およびGeminiを持つ今のGoogleのすべての製品、地図、YouTubeなどがGeminiや関連技術を統合しています。これには何十億ものユーザーと数十億ものユーザーがいる製品が含まれます。それらは非常に高速で、効率的で、低コスト、低遅延でなければなりません。これは、Flashとより小さなFlash-Liteモデルを非常に効率的に行う動機を私たちに与えました。最終的にこれもユーザーのさまざまな作業に役立てられると願っています。

Gary Tan：私はこれらの小さなモデルがどの程度賢くなれるかに興味があります。蒸留には限界がありますか？50Bまたは400Bのモデルは、今日の最大の最先端モデルと同じくらい賢くなれるでしょうか？

Demis Hassabis：情報理論上の限界に達しているとは思わないですね、少なくとも現時点では誰もその限界に達したかどうかはわかりません。おそらくいつかは情報密度の天井に到達するかもしれませんが、現時点では、最先端のProモデルがリリースされた後、半年から1年以内にその能力が非常に小さなほぼエッジデバイスで実行可能なモデルに圧縮されるという前提です。

これはGemmaモデルでも見られることで、当社のGemma 4モデルは同容量内で非常に優れたパフォーマンスを発揮します。これには多くの蒸留技術と小さなモデルの効率化技術が活用されています。ですので、私は本当に理論的な限界を見ておらず、その限界はまだ遠いと考えています。

Gary Tan：現在、非常に奇妙な現象があります。つまり、エンジニアができる作業量は、おおよそ6か月前の500から1000倍です。この部屋にいる人の中には、2000年代のGoogleエンジニアの作業量の1000倍に相当する作業をしている人もいます。Steve Yeggeがこれについて話しています。

Demis Hassabis：私は非常にワクワクしています。小さなモデルには多くの用途があります。1つはコストが低く、速度が速いことも同様に利点をもたらします。コードの記述や他のタスクにおいて、より速く反復することができ、特にシステムと協力する際にはそうです。速いシステムは最先端ではないかもしれませんが、例えば最先端の90%から95%の部分であっても、それは十分すぎるものです。そして、その10%よりも返ってきた反復スピードははるかに多いです。

もう1つの大きな方向性は、これらのモデルをエッジデバイスで実行することです。これは効率だけでなく、プライバシーやセキュリティのためでもあります。非常にプライベートな情報を処理するさまざまなデバイスやロボットを考えてみてください。家庭用ロボットを考えると、高効率で強力なモデルをローカルで実行し、特定のシナリオでのみタスクをクラウド上の大きなモデルに委任することが望ましいでしょう。オーディオやビデオストリームはすべてローカルで処理され、データはローカルに残ります。これが非常に良い究極の状態であると想像できます。

メモリと推論

Gary Tan：コンテキストとメモリに戻ります。モデルは現在ステートレスですが、持続的な学習能力がある場合、開発者の体験はどのようになりますか？そのようなモデルをどのように案内しますか？

デミス・ハサビス：この問題は非常に興味深いです。持続的な学習の欠如は、現在のエージェントが完全なタスクを達成できない主要なボトルネックの1つです。現在のエージェントはタスクの局所的な側面には非常に適しており、それらを組み合わせて非常にクールなことを行うことができますが、それらはあなたが特定の環境にいることをうまく適応することができません。これが、それらが本当に「発射して忘れる」ことができない理由です。それらはあなたの具体的な状況を学ぶことができる必要があります。完全な汎用知能を実現するには、この問題を解決する必要があります。

ゲイリー・タン：推論の面ではどこまで進んでいますか？モデルの現在の思考チェーンは非常に強力ですが、いくつかの賢明な学部生が犯さない間違いではまだ失敗します。具体的に何を改善する必要がありますか？推論について、どのような進展を期待していますか？

デミス・ハサビス：考えるパラダイムにはまだ大きな革新の余地があります。私たちがしていることはまだ非常に粗雑で、非常に力技です。多くの改善の余地があります。例えば、思考チェーンのプロセスをモニタリングし、思考の途中で介入することができます。私はしばしば、私たちのシステムでも競合他社のシステムでも、ある程度過剰に考え込んでしまい、ループに陥ることがあると感じます。

時々、私は Gemini のチェスを見ているのが好きです。すべての先進的なベースラインモデルはチェスに関して実際にはかなり悪いですが、これは非常に興味深いです。

彼らの考える軌跡を見ることは非常に価値があります。なぜならチェスは充分に理解された領域であり、私はすぐにそれが間違っているかどうか、推論が有効かどうかを判断することができます。私たちが見ている状況は、時には1手を考慮し、それが悪手だと気づきながらも、より良い手が見つからず、結局その悪手を打ってしまうというものです。正確な推論システムには、このような状況が発生すべきではありません。

このような大きなギャップはまだ存在していますが、それを修正するのにはたった1〜2つの調整が必要かもしれません。これが、いわゆる「ジャギード・インテリジェンス」（じゃぎっど・いんてりじぇんす）を見る理由です。それはIMOゴールドレベルの問題を解き、他の質問に答えようとすると小学校の数学の間違いを犯すかもしれません。自分自身の思考プロセスを省察する上で、何か少し足りないように感じます。

エージェントの真の能力

ゲイリー・タン：エージェントは大きなトピックです。それはハイプだと言う人もいますが、私個人としては、これはまだ始まったばかりだと考えています。DeepMind内部の研究によると、エージェントの能力についての実際の評価はどのようなものであり、外部の宣伝との差異はどのくらいですか？

デミス・ハサビス：私は、あなたの言うことに同意します。私たちはまだ始まったばかりです。AGIに到達するには、問題を解決するために自発的に行動するシステムが必要です。これは私たちにとって常に明確でした。エージェントはその道であり、私たちはまだ始まったばかりだと思います。

皆さんは、皆さんも個人的な実験を行っているでしょうが、エージェントをどのように改良して連携させるか模索しています。エージェントをワークフローに統合し、単なる装飾ではなく、本質的な活動を行うようにする方法は何でしょう。現時点では、まだ実験段階にあります。おそらく、ここ最近の2〜3か月で特に価値のあるシナリオを見つけ始めたばかりです。技術はほぼその水準に達しており、これ以上はただのおもちゃのデモではなく、本当に時間と効率に価値をもたらしています。

私はよく数十のエージェントを起動して数十時間実行させる人々を見かけますが、その投入に見合う成果が得られるかはまだ分かりません。

私たちは、誰もが vibe coding を使用して、トップランキングの3Aゲームを制作した例を見ていません。私自身も書いたことがあり、座っている多くの人々もいくつかの素敵なデモを行ってきました。今、私は『テーマパーク』のプロトタイプを30分で作成できますが、17歳の頃の私は6か月かかりました。

私は、1つの夏を費やして驚くべきものを作成することができると感じています。ただし、それはまだ技術と人間の精神、好みが必要です。これらの要素を製品構築に取り入れることを確認する必要があります。実際、今のところ、どの子供も1000 万本を売り上げる大ヒットゲームを作成していません。現在のツールと投資に基づいて、それは可能であるはずです。したがって、何か欠けているのか、それはプロセスに関連しているかもしれませんが、ツールに関連しているかもしれません。私は今後、6〜12か月以内にそのような成果が見られると予想しています。

Gary Tan：それがどの程度自動化されるか？一度に完全自動化されることはないと思います。より可能性の高い経路は、同席者がまず1000 倍の効率を達成し、その後、これらのツールを使用してベストセラーアプリやゲームが作成され、その後、より多くのプロセスが自動化されることでしょう。

Demis Hassabis：はい、まずそのようなことを見るべきです。

Gary Tan：また、いくつかの理由により、実際には誰もがそのようにしているのに、エージェントがどれだけ役立っているかを公開したくない人もいます。

Demis Hassabis：そうかもしれません。しかし、創造性について話し合いましょう。私はしばしば AlphaGo の例を挙げますが、皆さんは第2局の37手をご存知です。私にとって、そのような瞬間をずっと待っており、その瞬間が訪れた後、AlphaFold のような科学プロジェクトを発足しました。私たちは帰国後すぐに AlphaFold を開始し、それは10年前のことでした。今回、韓国に行ったのは AlphaGo 誕生10周年を祝うためです。

しかし、ただ単に 37 手目まで進むだけでは不十分です。それはカッコいいし、役に立ちます。しかし、このシステムは囲碁そのものを発明できるのでしょうか？もしシステムに「ルールを学ぶのに 5 分かかるが、一生かけても完全には理解できない、美的に優雅な、1 回の対局を 1 日ですることができる」という高レベルな説明を与えると、その結果が囲碁であるように返ってくるのか。現代のシステムはこれを実現できません。その問題はなぜでしょうか？

Gary Tan：ここにいる人々の中には、そうできる人間がいるかもしれません。

Demis Hassabis：もしそれが実現された場合、答えはシステムに何かが欠けていたということではなく、私たちがシステムを使う方法に問題があるということになるでしょう。これが正しい答えかもしれません。おそらく現代のシステムにはその能力が備わっているかもしれませんが、その能力を引き出すには、十分な天才的な創造者が必要で、プロジェクトに魂を与え、同時にその人はツールと高度に統合し、ツールとほぼ一体化している必要があります。もし、あなたがツールに没頭し、深い創造力を持っていれば、想像を絶するものを生み出すことができるかもしれません。

オープンソースとマルチモーダルモデル

Gary Tan：話題をオープンソースに変えましょう。最近、Gemma のリリースにより、非常に強力なモデルがローカルで実行できるようになりました。あなたはどのように見ていますか？AI はユーザーが独自に利用できるようになり、クラウドに留まるものではなくなるのでしょうか？これはそのようなモデルを使って製品を構築できる人々を変えるでしょうか？

Demis Hassabis：私たちはオープンソースとオープンサイエンスを強く支持しています。あなたが言及した AlphaFold に関しては、私たちは完全に無料で公開してきました。私たちの科学的業績は今でもトップジャーナルに掲載されています。Gemma に関しては、同等のスケールのワールドクラスのモデルを作り上げることを目指しています。現在、Gemma のダウンロード数は約 4000 万回に達し、それもわずか 2 週半で達成されました。

また、私たちにとって重要なのは、オープンソース分野に西洋のテクノロジースタックが存在することです。中国のオープンソースモデルは非常に優れており、現在はオープンソース分野でリードしていますが、私たちは Gemma が同等の規模で非常に競争力があると考えています。

さらに、リソースの問題も抱えています。誰もが前身のモデルを 2 つも動かす余裕がないため、現在の決定は、端末モデルを Android、眼鏡、ロボットなどに使用する際には、できるだけオープンにしておくべきだというものです。なぜなら、デバイスにデプロイされた後は、それ自体が公開されているため、完全にオープンにした方が効果的だからです。私たちはナノレベルでオープン戦略を統一し、戦略的にも妥当だと考えています。

Gary Tan：ステージに上がる前に、私が作成した AI オペレーティングシステムのデモをしました。Gemini と直接音声でやり取りでき、何かをデモするのは緊張しましたが、なんとかうまくいきました。Gemini は最初からマルチモーダルに構築されています。たくさんのモデルを試しましたが、モデルと直接音声でやり取りし、ツールの呼び出し能力と深いコンテキスト理解を組み合わせた深い統合を持っている点で、現在 Gem...

Demis Hassabis：はい。Gemini シリーズのまだ完全に理解されていない利点の1つは、最初からマルチモーダルに構築していることです。このアプローチにより、テキストのみを対象とするよりも初期段階は困難ですが、長期的に恩恵を受けると信じています。現在、その恩恵を受け始めています。

たとえば、ワールドモデルに関しては、Gemini の上に Genie（DeepMind が開発した生成型インタラクション環境モデル）を構築しています。ロボティクス分野も同様で、Gemini Robotics はマルチモーダルベースモデル上に構築され、マルチモーダルの利点が競争上の優位性となります。Waymo（Alphabet 傘下の自動運転車会社）でも、Gemini を活用する割合が増えています。

現実世界に同行するデジタルアシスタントを想像してみてください。おそらく、あなたの携帯電話やメガネに表示され、周囲の物理世界や環境を理解する必要があります。当社のシステムはこの点で非常に強力です。今後もこの方向性に投資し続ける予定であり、このタイプの課題におけるリーダーシップの優位性が非常に大きいと考えています。

Gary Tan：推論コストが急速に低下しています。推論が基本的に無料になると、何が可能になりますか？この変化によってチームの最適化方向が変わりますか？

Demis Hassabis：推論が本当に無料になるかどうかはわかりませんが、ジェヴォンズの逆説（Jevons' Paradox、効率の向上が総消費量の増加につながることを指す）がそこにあります。私は、誰もが最終的に利用可能な計算リソースをすべて消費すると考えています。

何百万ものエージェントからなるグループが協力して作業したり、複数の方向で同時に考え、統合した行動を取る小さなエージェントグループが考えられます。私たちはこれらの方向を実験しており、利用可能な推論リソースをすべて消費するでしょう。

エネルギーに関して、制御可能な核融合や室温超伝導、最適なバッテリーなどの問題が解決されれば、材料科学を通じてエネルギーコストをほぼゼロにすることが可能だと私は考えます。ただし、チップの物理的製造などの段階にはまだボトルネックが存在し、少なくとも今後数十年間はそうでしょう。そのため、推論の端末には引き続きクォータ制限があり、引き続き効率的に利用する必要があります。

次の科学的突破

Gary Tan：良いことに、小さなモデルはますます賢くなっています。ここには多くの生物学およびバイオテクノロジーの創業者がいます。AlphaFold 3 は既にタンパク質を超え、より広範な生体分子に拡張されています。細胞系全体をモデリングするにはどれくらいの距離がありますか？これはまったく異なる難易度レベルの問題ですか？

Demis Hassabis：Isomorphic Labsの進捗は非常に良いです。AlphaFoldは薬物発見プロセスの一部に過ぎず、隣接する生化学研究や適切な特性を持つ化合物の設計などを行っており、近々重要な発表があります。

私たちの最終目標は、完全な仮想細胞を作成することです。つまり、摂動を加えることができる全機能の細胞シミュレーターであり、その出力が実験結果に十分近く、実用的であることです。多くの検索ステップを省略し、大量の合成データを生成して他のモデルをトレーニングし、それらが実際の細胞の振る舞いを予測できるようにすることができます。

私は完全な仮想細胞まであと約10年かかると推定しています。DeepMind Science側では、細胞核から始めています。細胞核は比較的自己完結型であるため、このような問題の鍵は、適切な複雑さのスライスを切り出すことができるかどうかです。そのスライスが十分に自己包含であり、入力と出力を合理的に近似できるかどうかに注力し、そのサブシステムに焦点を当てることです。細胞核はその観点から見て非常に適しています。

もう1つの問題はデータが不足していることです。電子顕微鏡やその他の画像技術の専門家と話しました。生きた細胞を破壊せずに活性細胞を画像化できれば、画期的です。なぜなら、それがビジョンの問題に変換できるからです。そして、ビジョンの問題の解決方法はわかっています。

ただし、私の知る限り、現時点では納屋ナノメートル分解能で活きた動的細胞を画像化し、それを破壊することなく行う技術は存在しません。その分解能の静的画像を撮影できると、非常に細かいですが、それを直接ビジョンの問題に変換するには不十分です。

したがって、2つのアプローチがあります。1つはハードウェア駆動型、データ駆動型のソリューションであり、もう1つはこれらのダイナミックシステムをモデル化するためのより優れた学習可能なシミュレータを構築することです。

Gary Tan：あなたは生物だけを見ていません。材料科学、薬物発見、気候モデリング、数学。もし順位をつけなければならないならば、次の5年でどの科学分野が最も徹底的に変革されると思いますか？

Demis Hassabis：すべての分野が興奮しており、これが私の最大の情熱であり、30年以上にわたってAIに携わる理由です。私はAIが科学の究極のツールになると常に考えてきました。科学理解、科学発見、医学、そして宇宙への理解を推進するために使用できます。

私たちが最初にミッションを述べた方法は2つでした。第1段階は知能を解決すること、つまりAGIを構築することであり、第2段階はそれを使用して他のすべての問題を解決することです。後に言葉を調整しなければならなくなりましたが、誰かが「本当にすべての問題を解決するつもりですか？」と尋ねるでしょう。

私たちは実際にその意味であり、今では皆がそれが何を意味するか理解し始めました。具体的には、私が「ルートノード問題」と呼んでいる科学領域を解決することを指します。このような突破口を得ると、全く新しい発見の分野が開かれます。AlphaFold は私たちが行いたいことの原型です。

世界中の300万人以上の研究者のほぼ全ての生物学者が現在AlphaFoldを利用しています。製薬会社の幹部の友人たちから聞いたところによると、今後発見されるほとんどすべての薬物が、薬物発見プロセスのある段階でAlphaFoldを使用することになるでしょう。私たちはこの点に誇りを持っており、これこそがAIがもたらす影響を期待していたものです。しかし、私はこれがたったの始まりだと考えています。

AIが手助けできない科学またはエンジニアリングの領域を思い浮かべることができません。あなたが挙げたそれらの領域は、「AlphaFold 1の瞬間」にほぼあり、結果は非常に期待できますが、まだその領域の大きな課題に本当に挑んでいません。今後2年間、材料科学から数学まで、これらのすべての分野で多くの前進が見られるでしょう。

Gary Tan：それはまるでプロメテウスのようで、人類に全く新しい能力を与えるようですね。

Demis Hassabis：確かにです。もちろん、プロメテウスの物語の寓意通り、私たちはこの能力がどのように使用され、どこに使用されるか、および同じセットのツールが悪用されるリスクに注意を払わなければなりません。

成功の経験

Gary Tan：ここには、科学にAIを適用しようとする多くの人たちがいます。あなたから見て、本当に先進的なスタートアップと、基本モデルに単なるAPIを重ねて「科学のためのAI」と名乗るだけのスタートアップとの違いは何ですか？

Demis Hassabis：今日もし私が皆さんの立場にいて、Y Combinatorのプロジェクトを見ていたら、どうするか考えています。1つは、AI技術の方向性を予測しなければならないことですが、これ自体が非常に難しいです。しかし、私はAIの方向性と別のディープテック領域を組み合わせると、巨大な機会があると確信しています。この交差点では、材料科学、医学、および他の本当に困難な科学領域、特に原子レベルのものが含まれますが、遠い将来においてもショートカットは存在しません。これらの領域は次の基本モデルの更新で消えてしまうわけではありません。ただし、より強固な方向性を見つける必要がある場合、これが私がお勧めする方法です。

私は個人的に常にディープテックを好んできました。真に持続的で価値のあるものは簡単に手に入るものではありません。私は常にディープテックに魅了されてきました。2010年、私たちが始めたとき、AIはディープテックでした。投資家は私に言いました、「このものはうまくいかないことはもうわかっています」と、学術界もこれが1990年代に試みられて失敗したニッチな方向だと考えていました。

しかし、自分の考えに確信がある場合、なぜ今回が違うのか、あなたのバックグラウンドにどんなユニークな組み合わせがあるのか、理想的にはあなた自身が機械学習やアプリケーションの領域で専門家であるか、あるいはそのような創業チームを編成できるか－そこには莫大な影響力と価値が創造される可能性があります。

Gary Tan：この情報は非常に重要です。あることを成し遂げた後は当たり前のように見えますが、その前は誰もがあなたに反対していました。

Demis Hassabis：もちろん、だからこそ、真に情熱を持って取り組むべきです。私にとって、何が起ころうとも、私はAIをやります。私がとても小さかったときに、これが私が考えられる最も影響力のあることだと決めました。実際、それが証明されましたが、されない可能性もあります。50年早かったかもしれません。

そして、これは私が考えられる最も面白いことでもあります。今日も私たちは小さなガレージにこもっており、AIはまだ完成していませんが、私はそれを続ける方法を考え続けるでしょう。たぶん、学術界に戻るかもしれませんが、どちらにせよ進み続ける方法を見つけるでしょう。

Gary Tan：AlphaFoldはあなたがある方向を追求し、その後正しい賭けをした例です。何が科学分野でAlphaFoldのような突破をもたらすのでしょうか？ある種の目的関数のようなパターンはありますか？

Demis Hassabis：確かに、これについて書き留めるべきだと思います。AlphaGoやAlphaFoldなど、すべてのAlphaプロジェクトから学んだ経験は、私たちの現行技術が最も効果的なのは以下の場合です。

第一に、問題に膨大な組み合わせ検索空間があることが最適です。その空間が大きければ大きいほど良く、どんな力任せの列挙や特別なアルゴリズムでも解決できないほど大きい必要があります。囲碁の着手空間やタンパク質の構造空間は、宇宙の原子の数をはるかに超えています。第二に、目的関数を明確に定義できることが重要です。たとえば、タンパク質の自由エネルギーの最小化や囲碁での勝利など、このようにシステムは勾配上昇を行うことができます。第三に、十分なデータが必要であるか、あるいはシミュレーターが多くの合成データを生成できるかどうかです。

これらの3つの条件が揃っていれば、現代の手法でかなり遠くまで進むことができ、必要な「針をハヤ山で見つける」ことができます。薬物探索も同じ論理です。ある化合物がその疾患を治療し、かつ副作用がない場合、物理法則がその存在を許可している限り、唯一の問題はそれを効率的かつ実行可能な方法で見つけることです。AlphaFoldは、この種のシステムが膨大な検索空間の中でこのような針を見つける能力を持っていることを初めて証明したと考えています。

Gary Tan：私は次のレベルに進みたいと思っています。私たちは、人類がこれらの手法でAlphaFoldを作り出したという点について話していますが、もう1つ上のレイヤーがあります。人類はAIを使って仮説空間を探索しています。AIシステムが本当の科学的推論を行うまで（データのパターンマッチングだけでなく）には、まだどれくらいの時間がかかりますか？

Demis Hassabis：私は、それがとても近いと感じています。私たちは、この種の汎用システムを作っています。AI共同科学者と呼ばれるシステムがあり、Geminiよりもさらに進んだことを実現できるAlphaEvolveなどのアルゴリズムもあります。すべての先端研究所がこの方向を探っています。

しかし、これまでに、個人的に大きな科学的発見がこれらのシステムによって行われた例を見たことがありません。それがすぐそこにあると思います。先ほど議論した創造性と関連して、既知の境界を突破する真の発見になるかもしれません。その段階に達すると、それはパターンマッチングではなくなります。なぜなら、一致するパターンが存在しないからです。完全に外挿でもなく、ある種の類推推論（analogical reasoning）であり、これらのシステムにはまだ備わっていないと思われます。または、我々はまだそれらを正しい方法で使ったことがないと言えるでしょう。

私が科学の分野でよく話す基準の1つは、それが本当に興味深い仮説を提示できるかどうか、単なる検証ではなくです。なぜなら、仮説を検証すること自体が驚くべきことである可能性もあるからです。たとえば、リーマン予想の証明や千年問題の解決などです。しかし、おそらく私たちはそのレベルまで数年を残すだけです。

さらに困難なのは、新しい千年問題のセットを提示できるかどうか、そしてそれがトップ数学者にとって同じくらい厳密で、一生をかけて研究する価値があると考えられるかです。私はこれがもう1つの次元で難しいと思っており、私たちは現時点でそれをどのように成し遂げればよいかをまだ知らないと感じています。しかし、これが魔法のようなものだとは考えていません。私は、これらのシステムが最終的にはそれを成し遂げることができると信じています。おそらくもう少しで可能になるものが何か欠けているだけです。

私たちがテストに使える方法は、時折私はそれを「アインシュタイン・テスト」と呼んでいます。つまり、1901年の知識でシステムをトレーニングし、その後、独自にアインシュタインが1905年に行った業績を導き出すことができるかどうかです。狭義相対論やその他の論文を含みます。私は、このテストを本当に実行し、繰り返し試して、それがいつできるようになるかを見るべきだと考えています。一旦それができるようになれば、これらのシステムは真に新しいものを発明するまで遠くないでしょう。

起業のアドバイス

Gary Tan：最後の質問です。ここには多くのテクニカルバックグラウンドを持つ人々がいますが、あなたたちは最大のAI研究組織の1つであると知っています。AGI研究の最前線から来ましたが、今知っていることで、25歳の時に知っていたといいことはありますか？

Demis Hassabis: 実際には、私たちはすでに一部を話し合っています。難しい問題と簡単な問題を追求することは実際には難易度がほとんど同じであり、違いは難しいところの方法が異なるということです。異なるものには異なる難しさがあります。ただし、人生は短く、エネルギーは限られています。もしあなたがやらなければ誰もやらないようなことにあなたのエネルギーを費やすのはどうでしょうか。その基準で選択しなさい。

もう1つ、私は将来、異なる領域の組み合わせがより一般的になると思います。 AI は異なる領域を結びつけることをより簡単にします。

最後のポイントはあなたの AGI のタイムラインに依存します。私の場合は、2030 年頃です。もし今日、深いテクノロジーのプロジェクトを開始したいと思っているなら、通常、10年間の旅路を意味します。そのため、AGI が途中で登場するという事実を計画に組み込む必要があります。これは何を意味しますか？必ずしも悪いこととは限りませんが、考慮する必要があります。あなたのプロジェクトは AGI を活用することができますか？ AGI システムはあなたのプロジェクトとどのように対話しますか？

以前に話した、AlphaFold と汎用 AI システムの関係に戻ります。私が想像できる1つのシナリオは、Gemini、Claude または同様の汎用システムが AlphaFold のような特定用途のシステムをツールとして呼び出すことです。一つの巨大な単一のものにすべてを詰め込むことはないと思います。