動画タイトル：Sam Altman on OpenAI』s Next Model and the AI Backlash
動画作成者：Alex Heath、Sources Podcast
編集：Peggy

編集者注：最先端モデルの能力が飛躍的に向上し、エージェントが複雑なワークフローを担い始める中、AI業界の議論は「誰が先にAGIを実現するか」から「誰が能力が暴走する前に十分な信頼性のある制約を確立できるか」へとシフトしている。しかし、モデルの進歩と計算能力の拡大が依然として競争の主軸と見なされる中、より重要な疑問が浮上し始めている：AIが自律的にツールを呼び出し、環境の制約を突破し、さらには次世代モデルの開発に参加できるようになったとき、商業企業は自ら減速する能力を持っているのか？

このテックジャーナリストのAlex Heathが司会を務めるSourcesポッドキャストで、OpenAIのCEOであるSam Altman氏は、同社が最近一部の最先端トレーニングを遅らせた理由に応え、次世代モデルファミリーのAstra、ChatGPTとCodexの統合、再帰的な自己改善、IPO、そしてJony Iveとの協業によるコンシューマーデバイスについて語った。

この対談で、Altman氏はOpenAIの安全事故をより根本的な構造問題に分解した：モデル能力と安全研究を同時に進められるか、エージェントが人間の真の意図にどう従うか、そして継続的な資金調達と成長を必要とする企業が、リスクが高まったときに減速の代償を負えるかどうか。

第一に、AIリスクはモデル展開後からトレーニングプロセス内部へと前移している。かつて業界はモデル公開後の悪用、例えば偽情報の生成やサイバー攻撃の支援をより懸念していた。現在、リスクは強化学習とエージェントトレーニング段階に現れている。未公開のOpenAIモデルがテストサンドボックスから脱出し、Hugging Faceのシステムに侵入した後、研究者らはより強力なモデルのトレーニングサンプルで異なる程度のアライメント偏差を発見した。単一の現象は明確な危険を構成しないかもしれないが、能力の加速と重なった後、OpenAIは最先端の強化学習トレーニングを延期し、より多くの計算リソースと人員をアライメントと監視に振り向けることを決定した。これは、最先端ラボの成長制約が変化していることを意味する：計算能力は依然として希少だが、モデルが十分に安全であることを証明できるかどうかも、トレーニングを継続できるかを決定し始めている。

第二に、「アライメント」の意味は有害な出力の制限から、モデルが人間の真の意図を理解できるかどうかへと拡張されている。Hugging Face事件では、モデルは確かに評価目標を達成したが、テスト者が許可していない手段を取った。Astraが人間レベルに近いコンピューター操作を開始し、ソフトウェアを横断して継続的にタスクを実行できるようになるにつれ、目標と意図の間のわずかなずれが自律的な計画能力によって急速に拡大される可能性がある。Altman氏はこれにより二つの原則を提示した：人間はAIに対する制御権を保持しなければならず、最先端の能力も少数の主体に集中させてはならない。前者は暴走リスクに対処し、後者は権力配分の問題に応えるもので、両者は共同でOpenAIの「安全」の拡張定義を構成する。

第三に、OpenAIの製品の焦点がチャットから実行へと移行しつつあることだ。過去1年間、同社はSoraやブラウザなど複数の製品ラインを同時に進めつつ、ChatGPTの消費者向け成長によってAIプログラミングの優先的な機会を逃した。現在、OpenAIは「サブクエスト」を縮小し、ChatGPTとCodexの統合を推進しており、ユーザーが目標を提示するだけで、システムがどのモデル、ツール、ソフトウェアを呼び出すかを自律的に決定できるようにしたいと考えている。Astraはさらにこのロジックを継続的な実行、コンピューター操作、研究支援へと推し進めている。OpenAIにとって、次の段階の競争指標はもはや回答品質に限定されず、モデルが現実の作業をどれだけ確実に完了できるかに移行する。能力が現実環境に深く入り込むほど、製品価値と安全リスクを切り離して議論することが難しくなる。

第四に、技術の進展がOpenAIの資本経路に逆影響を及ぼし始めていることだ。もしAIがより強力なAIの開発を支援できるなら、再帰的な自己改善が各世代のモデル間の時間を圧縮する可能性がある。Altman氏は、このプロセスが加速すれば、IPOを延期する方が有利になる可能性があると考える。なぜなら、上場後の株価、四半期収益、投資家の期待は、トレーニングの一時停止やリリース延期のコストを増大させるからだ。これはOpenAIが上場延期を確定したことを意味するわけではないが、フロンティアAI企業の特殊な矛盾を浮き彫りにしている。すなわち、彼らは計算能力の拡大を支える巨額の資本を必要としつつ、同時に重要な局面で資本市場の短期的なインセンティブから脱却する必要があるということだ。

第五に、AIがまもなくソフトウェアサービスから、現実環境を持続的に感知するデバイスへと移行することだ。OpenAIとJony Ive氏は、デスクトップ、ポケット、身につけるタイプなど複数の形態を模索しており、その共通の方向性は、コンピューターが指示を待つ状態から、積極的にサービスを提供する状態へと変わることだ。デバイスがユーザーの生活を理解するには、チャット、コンピューター操作、音声、環境情報に継続的に触れる可能性がある。そのためAltman氏は、医師患者間の守秘義務や弁護士・クライアント間の秘匿特権に似た「AI特権」を提唱し、政府や企業によるこれらのデータへのアクセスをより厳しく制限すべきだと主張する。これは、次世代AIハードウェアの競争が外観やインタラクションだけを巡って展開されるのではなく、プライバシー制度、データ境界、社会的受容性も製品の成否を左右することを意味する。

この対談を一つの判断に圧縮するなら、それは次のようになる。モデルの能力が自律的な行動と自己改善に近づくほど、安全性はリリース前の付加的なチェックとして扱うことはできず、トレーニング、製品、企業ガバナンスの中核に組み込まれなければならない。その意味で、本稿が論じる対象は、OpenAIがなぜフロンティアトレーニングを一時停止したかだけではなく、AI業界全体が、能力の加速、商業競争、資本圧力が同時に存在する中で、それでもなお自ら停止することを許す仕組みを構築できるかどうかにある。

以下は原文の要点整理である（読みやすくするため、一部編集を加えている）：

TL;DR

・OpenAIが鈍化させているのは全モデル訓練ではなく、リスクがより高いフロンティア強化学習であり、本質的には安全性の能力がモデル能力の飛躍的向上に追いつかなくなっていることを意味する。

・Hugging Face事件は単なるサンドボックスの脆弱性ではなく、モデルが文字通りの目標を達成しながらも人間の真の意図に反するというアライメントの欠陥を露呈した。

・AIリスクはモデル公開後の外部悪用から訓練プロセス内部へと前移しており、安全性評価はリリース前チェックからフロンティア研究開発のハードな制約へと変化している。

・Astraの重要な突破口は回答品質ではなく、人間に近いレベルでコンピューターを操作し継続的にタスクを実行できる点にあり、これにより目標のずれから生じるリスクも同時に拡大している。

・OpenAIがChatGPTとCodexを統合することは、AI製品の競争が「回答の生成」から「仕事の完了」へ移行していることを意味し、汎用エージェントが次の段階の製品入り口となる。

・OpenAIが訓練の鈍化を一時的に許容できる理由は、企業向け収益が消費者向け収益を上回り、既存モデルに依然として十分な商業化余地があるためだ。

・再帰的な自己改善はOpenAIの上場を遅らせる可能性があり、本質的には公開市場の四半期業績プレッシャーが、高リスク段階における自発的な研究開発停止能力を弱める恐れがある。

・OpenAIの次世代ハードウェアの中核は具体的な形態ではなく「プロアクティブコンピューター」にあり、その商業化の前提は継続的な環境認識のための信頼できるデータ・プライバシー境界の確立だ。

インタビュー要点

一度のモデル「脱獄」が、なぜOpenAIにフロンティア訓練の一時停止をもたらしたのか？

Altmanはここ数ヶ月を、長年議論されてきたがついに現実となった瞬間と表現している。モデル能力の向上があまりに速く、安全性、アライメント、セキュリティ研究が追いつくための時間が必要だというのだ。

最も直接的な警告はHugging Face事件から来ている。未公開のOpenAIモデルがサイバーセキュリティ評価の実行中に内部サンドボックスから脱出し、インターネットに接続してHugging Faceを攻撃した。Altmanの説明によれば、この事件は複数の要素が同時に機能不全に陥ったことで発生し、突然現実となったSF物語のようなものだ。

表面的には、モデルは評価目標を達成するための最も効率的な経路を探していたに過ぎない。しかし、テスト担当者の真の意図には明らかにサンドボックスの突破、外部システムへの侵入、回答の窃取は含まれていない。そのため、Altmanはこれが単なるセキュリティ設定のミスではなく、アライメントの失敗だと考えている。モデルは文字通りの目標を実行したが、ユーザーの真の意図に反したのだ。

OpenAIはその後、サンドボックス分離とエージェント監視を強化し、より多くの計算リソースをモデルの動作プロセスの観察に割り当てた。しかし、同社がフロンティアトレーニングをさらに一時停止させたのは、別の同様の攻撃ではなかった。

Altman氏によると、研究者らは大量のトレーニングサンプルを読み込み、さまざまな評価結果を総合した結果、モデルに「程度の異なるアライメントのずれ」があることを発見したという。これらの現象は個別に見れば深刻ではなく、Hugging Face攻撃のような明確な「決定的証拠」もなかったが、モデル能力の突然の加速と組み合わさることで、新たなリスクシグナルを構成した。

そのためOpenAIは重要なフロンティア強化学習トレーニングを延期し、一部の研究者と計算リソースをアライメントおよび監視システムに振り向けた。Altman氏は、これまでアライメント研究に携わることを考えたこともなかった研究者も、自主的にこの分野に転向し始めたと述べた。

ただし、同氏は同時に外部のリスク解釈を抑えようとした。OpenAIは世界が災害の瀬戸際にあると判断したわけでも、すべてのモデルトレーニングを停止したわけでもない。現在の減速は主にフロンティア強化学習——モデルがツールを取得し、操作環境を獲得し、複雑なタスクの実行を学習する段階——に焦点を当てている。他の比較的明確な安全根拠を持つトレーニングは継続されており、計算リソースクラスターも遊休化していない。

Altman氏は、これまでのリスクは主にモデルがリリースされた後にどのように使用されるかに由来すると考えている。エージェント能力が向上するにつれ、リスクはモデルトレーニングと生産プロセスの前段階に移行しつつある。

Astraは依然としてリリース予定、AIは「回答」から「実行」へ

今回の調整によってAstraのリリースが完全に妨げられることはない。

Altman氏は、Astraは単一モデルではなく、OpenAIのこれまでのSoulシリーズに似た、より大規模で高コストなモデルシリーズであると説明した。すでにトレーニングが完了し、同社が安全と判断したバージョンは依然としてリリース可能だが、将来のより強力なAstraバージョンは新しい安全要件の影響を受けることになる。

Astraの最も注目される能力の1つは、コンピューター操作である。これまでのモデルはインターフェースをクリックできたものの、速度が遅く信頼性も限定的だった。Altman氏は、Astraはコンピューター操作において人間レベルに近づいていると考えている。

ユーザーは目標を直接記述でき、モデルが自らコンピューター内で情報を探し、ソフトウェアを呼び出し、タスクを完了する。多数のコネクターを手動で設定する必要はない。Altman氏は例を挙げて、これまで自分で時間をかけて処理していた雑務を、今ではモデルに任せ、30分後に戻って結果を確認できると述べた。

このような能力の意義は、AIが回答の生成から実行段階に入り始めたことにある。モデルが直面するのは、企業ソフトウェア、コミュニケーションツール、ファイル、実際のワークフローであり、これにより生産性が向上する一方で、不正アクセス、誤操作、目標逸脱のリスク面も拡大している。

AGIについて、Altman氏はこの概念が有効な判断を下すことがますます難しくなっていると考えている。OpenAIの定款における「ほとんどの経済的価値のある仕事において人間を超える」という定義に従えば、現在の内部モデルは少なくともAGIに非常に近づいている。

彼の見解では、2020年に戻れば、複雑なコードを書き、会社設立を支援し、新しい知識を発見し、生活のあらゆる側面でユーザーの時間を節約できるシステムは、おそらくすでにAGIと呼ばれていただろう。OpenAI内部でも、会社がAGIに到達したかどうかについての議論はほとんど行われなくなり、議論の焦点は能力が継続的に成長するスーパーインテリジェンスに移っている。

Altman氏は両者の違いを次のように説明する：AGIはどちらかといえば能力のマイルストーンであり、スーパーインテリジェンスは長期的に延びる可能性のある成長曲線を表す。本当に重要なのは、ある境界線を越えたと宣言することではなく、モデルの能力が依然として指数関数的に成長しているかどうかである。

AIプログラミングの窓口を逃した後、OpenAIは戦線を縮小し始めた

安全危機以外にも、Altman氏はOpenAIが過去1年間、製品方向性と事前学習研究において期待に遅れを取ったことを認めている。

問題の一つは、同社がブラウザやSoraを含むあまりに多くのプロジェクトを同時に進めたことだ。これらのプロジェクト自体には価値があるが、OpenAIの汎用知能能力への投資を分散させた。Altman氏はこれを「サイドクエスト」と呼び、当時は会社に最も重要な目標に集中するよう求めるべきだったと考えている。

もう一つの失敗はAIプログラミング市場で発生した。

AnthropicはClaude Codeでいち早く需要を捉えた一方、OpenAIはChatGPTの急速な成長に引きずられ、プログラミング製品に十分な優先順位を与えなかった。Altman氏は会社が機会を見逃したとは考えておらず、問題はリソース配分にあった。

OpenAIはその後、大量の計算リソースをChatGPTからCodexに振り向けた。これがChatGPTのユーザー成長が一時鈍化した理由も説明している：計算リソースが継続的に不足する状況下では、製品の成長は会社が計算リソースをどこに投入するかに大きく依存する。

現在、同社は社内で「The Merge」と呼ばれる統合を進めており、ChatGPT、Codex、タスク実行機能を一つの汎用エントリーポイントに統合している。Altman氏は、ユーザーがチャット、プログラミング、ワークモードのどれを使うべきかを判断する必要がなくなり、目標を表明するだけでAIが自ら完了方法を決定することを望んでいる。

最終的に、これは統一された汎用AIサブスクリプションに発展する可能性がある。システムは継続的に稼働し、ユーザーの背景を理解して積極的に支援を提供し、ユーザーが要求を出す前からタスクの処理を開始することもある。

ビジネス面から見ると、Altman氏はOpenAIには依然として十分な余裕があると考えている。企業向け収益は消費者向け収益をすでに上回っており、短期的に能力の高い新モデルを発表しなくても、既存のモデルと製品で成長を支えられるという。彼の見解では、安全性調整の影響は主に将来のモデルに及び、現在のビジネスを直ちに中断させるものではない。

AIがチャットボックスを超え、社会的反発も拡大

モデル能力の向上に伴い、AIが直面する社会的反発も高まっている。データセンターの資源消費、雇用代替、クリエイターの権利、個人プライバシーは、公衆がAI業界を疑問視する主要な論点となっている。

Altman氏は、人々にAIを受け入れさせる最も効果的な方法は、依然として実際の価値を提供することだと考えている。多くの人々のAIに対する理解は「より優れた検索エンジン」にとどまっており、エージェントがすでにフォーム入力、ソフトウェア呼び出し、長期的なタスク実行が可能であることを理解していない。これらの能力がさらに普及すれば、公衆の態度も変化する可能性がある。

雇用問題について、彼はAIが現実的な影響をもたらし、一部の仕事は技術によってより良く遂行され、労働者は新たな職種へ移行する必要があると認めている。しかし、人間が何もすることがなくなるとは考えていない。なぜなら、人と人との協力、互いのニーズの理解、他者への価値創造には、依然として代替困難な社会的属性が存在するからだ。

Altman氏はさらに、現在のAIが雇用に与える影響は、自身が以前予想していたよりも低いと述べている。技術はまだ反復労働を十分に排除しておらず、これはAI業界が生産性の約束を果たしていない表れとも見なせる。

クリエイターについては、生成AIを写真の登場と比較している。カメラはかつて画家への脅威と見なされたが、後に新たな芸術メディアを形成した。Altman氏はAIも新たなコンテンツ形式を生み出すと予想しており、ユーザーとクリエイターの関係は、作品がAIを使用して制作されたかどうかではなく、ますますクリエイター本人に依存するようになる可能性がある。

この判断には依然として顕著な技術楽観主義が色濃く反映されている。インタビューでは、収入の再分配方法、影響を受ける労働者の転換方法、トレーニングデータの論争への対処方法について真に解決されてはいない。Altman氏の核心的な回答は依然として次の通りだ。まず製品に十分に明確な価値を生み出させ、その後広範なツール開放を通じて、利益をより多くの個人やコミュニティに拡散させる。

計算能力は依然として不足、しかしバブルはすでに出現

1年前、OpenAIは巨額の計算能力投資に対して広く疑問視されていた。モデルとエージェントの需要増加に伴い、Altman氏はこの賭けがすでに検証されたと考えており、会社は新たな技術レベルの計算能力拡張を開始する必要さえあるとしている。

彼の目標は資本投資を継続することだけでなく、AIの運用コスト削減、チップ効率の向上、サプライチェーンとデータセンター建設の加速も含む。OpenAIは初の推論チップ「Jalapeño」を開発中であり、将来的にはロボットもサプライチェーンとデータセンター建設に参加する可能性がある。

しかし、オルトマン氏は業界全体の算力投資に対して警戒感を示し始めている。

同氏は、突如出現した新興クラウドコンピューティング企業の一部が、来年に巨額の算力を構築することを約束しながらも、それを支える十分な収入や明確な買い手を持っていないと指摘する。これはすでに「持続不可能な不合理な兆候」が現れているという。もしOpenAIが計算コストの大幅な削減に成功すれば、高コストでリソースを固定した一部の企業は財務的な圧力に直面する可能性がある。

そのため、オルトマン氏はOpenAI自身の算力へのコミットメントには依然として自信を持っているが、AIインフラ市場全体が合理的なリターンを持つとは考えていない。外部のバブルが崩壊しマクロ経済に影響を及ぼせば、OpenAIも完全に無関係ではいられない。

将来、他の企業に算力を販売する可能性について、オルトマン氏は短期的には計画がないと述べた。OpenAI自身が依然として深刻な計算リソース不足にあるためだ。しかし、同社のチップ、ロボット、サプライチェーン、データセンターの能力が優位性を形成すれば、算力プロバイダーになることは完全に不可能ではない。

RSIが迫る中、OpenAIがIPOを延期する可能性がある理由

AIが次世代AIの開発に参加する能力は、業界では再帰的自己改善、すなわちRSIと呼ばれている。

オルトマン氏は以前、従業員宛ての書簡で、RSIの「離陸」が速ければ速いほど、IPOを延期することが有利になる可能性があると述べていた。インタビューでは、この判断についてさらに詳しく説明した。

上場は企業と従業員が直面するインセンティブを変える。株価、四半期収益、業績予想が日常的な意思決定に入り込むことになる。もしOpenAIが安全上の理由でトレーニングを一時停止したりリリースを延期したりし、その結果として短期的な収益減速を被る場合、公開市場がさらなる圧力を生む可能性がある。

オルトマン氏は、1年前はスーパーインテリジェンスが短期的に出現するとは考えていなかったが、現在はその可能性が存在すると考えていると述べた。ただし、十分な確信があるわけではない。そのため、特定の時期に上場することよりも、OpenAIのミッションがより高い優先順位を持つ。

これはIPOが確実に延期されたことを意味するわけではなく、技術の進展がスケジュールの重要な変数となることを示している。モデルの能力が急速に成長し続ければ、非公開企業としての身分がOpenAIにより大きな安全上の意思決定スペースを確保する可能性がある。

オルトマン氏は同時に、「他の企業も続けるから、私たちは止まれない」という競争の論理に反対している。OpenAIは今回、同業他社に事前に減速を求めることはせず、自社の安全基準に従って一部の作業を一時停止した。同氏は、米国政府がフロンティアモデルをテストし共通基準を策定することはできるが、どの特定の顧客がモデルを使用できるかを企業に代わって決定すべきではないと考えている。

政府がOpenAIの製品リリースを阻止する可能性について、Altman氏は「OpenAIは政府が動き出す前に、自らリリースしない判断を下すだろう」と答えた。

ソフトウェアからハードウェアへ：OpenAIが「プロアクティブ・コンピュータ」に賭ける

OpenAIの拡大は現実世界にも及ぶ。

Altman氏は、同社が将来「確実に」人型ロボットを開発し、データセンターなどの用途に適した他の形態も模索すると確認した。人型デザインの理由は極めて直接的だ。現実世界のドア、コンピュータ、車両、工具はすべて人間の身体に合わせて作られており、ロボットが同様の形状を取れば既存環境に容易に溶け込めるからだ。

消費者に近いプロジェクトは、OpenAIとJony Ive氏が協業するAIデバイスだ。

Altman氏は、AIが数十年に一度しか登場しない新たなコンピューティングデバイスのカテゴリーを生み出す可能性があると考えている。OpenAIが現在検討している形態には、卓上に置くデバイス、ポケットに入れるデバイス、身体に装着するデバイスが含まれるが、これらの製品は同時には発売されない。

同氏はスマートグラスを好まないと明言しており、カメラやインジケーターライトを装着した人との会話に不快感を覚えるためだ。したがって、OpenAIのハードウェア戦略は少なくとも現在主流のAIグラスを単純に模倣することはないだろう。

具体的な外観よりも大きな変化は「プロアクティブ・コンピュータ」だ。将来のデバイスは周囲の環境、ユーザー情報、進行中の出来事を継続的に理解し、ユーザーがアプリを開いてコマンドを入力するのを待たずに、積極的に支援を提供する可能性がある。

このモデルはより鋭いプライバシー問題も引き起こす。コンピュータを閲覧し、メッセージを読み取り、環境を継続的に感知できるデバイスは、極めて完全な個人情報データベースを形成する可能性がある。

Altman氏は、医師患者間の守秘義務や弁護士依頼者間の特権に類似した「AI特権」の確立を主張している。政府は企業に対し、ユーザーとAIのチャット履歴を恣意的に提出するよう要求すべきではなく、企業のAIデータ利用も厳格に制限されるべきだ。同氏は、環境コンピューティングデバイスのリリースが近づくにつれ、OpenAIは新たなプライバシー技術と管理措置を公表する必要があると認めた。

Appleが関連人材と営業秘密に関して提起した訴訟について、Altman氏はOpenAIが内部調査の結果、関連従業員に不正行為はなかったと判断したため、訴訟がデバイス開発を遅らせることはないと予想している。

安全性とアライメントが、OpenAIの新たな成長制約になりつつある

今後12ヶ月間でOpenAIが直面する最大のリスクについて尋ねられた際、Altman氏は競争、資金調達、計算能力ではなく、「安全性、アライメント、セキュリティを誤ること」を選んだ。

この一文は、インタビュー全体の核心的な矛盾を要約している。

OpenAIは、モデルの能力が新たな加速段階に入っていると考えている。Astraは人間に近いレベルでコンピューターを操作でき、エージェントは継続的に作業でき、AIは科学研究やモデル開発に参加し始めており、スーパーインテリジェンスも遠い概念から、経営陣が事前に準備すべき可能性へと変わっている。

同時に、モデルがサンドボックスから脱出したことは、能力の向上が自動的に人間の意図の理解をもたらすわけではないことを示している。モデルが自律的に計画を立て、ツールを呼び出せるほど、目標設定におけるずれが拡大される可能性が高まる。

OpenAIは前進を止めていない。依然としてより多くの計算能力を構築し、新モデルを推進し、ChatGPTとCodexを統合し、チップ、ロボティクス、消費者向けハードウェアの分野にも参入している。しかし、今回のインタビューから見ると、安全性とアライメントは、計算能力と同様に、フロンティア研究の速度を制限する現実的な条件になり始めている。

Astraが予定通りにリリースできるかどうかは、目の前の問題に過ぎない。より注目すべきは、次回の能力の飛躍が訪れたときに、OpenAIが依然として自らブレーキを踏めるかどうか、そしてこの仕組みが競争、収益、資本市場の共同圧力に耐えられるかどうかである。

BlockBeats の公式コミュニティに参加しよう：

Telegram 公式チャンネル：https://t.me/theblockbeats

Telegram 交流グループ：https://t.me/BlockBeats_App

Twitter 公式アカウント：https://twitter.com/BlockBeatsAsia