原文タイトル:The Untrainable
原文著者:Sarah Guo,Conviction
翻訳:Peggy,BlockBeats
編集者注:AIの能力が飛躍的に向上する中、投資業界では新たな悲観論が浮上している。モデルがますます強力になれば、すべてのアプリケーション企業は最終的にAnthropic、OpenAI、Nvidiaといったモデルや計算レイヤーに飲み込まれ、市場には最先端のモデル、計算リソース、そして少数のインフラだけが残るという見方だ。しかしSarah Guoは、この見解は半分しか正しくないと指摘する。いわゆる「thin wrapper」(薄いラッパー、つまりモデルを単純にラップしたアプリケーション)は確かに吸収されるだろう。ベンチマークで測定可能で、公開データで学習可能で、低コストで検証可能なタスクは、徐々にコモディティ化していく。
本当の問題はこれだ:AIが訓練可能なすべてを飲み込んだ後、何がまだ訓練不可能なのか?
本稿の答えは、実際の組織内部に存在し、外部から簡単に複製できない価値にある。企業のプライベートデータ、複雑なワークフロー、ユーザーの信頼、システム権限、業界の判断、コンプライアンス責任、そして長期運用で蓄積された経験だ。モデルはより賢くなることはできても、銀行の本番システムに自動的にアクセスすることはできない。医療回答を生成できても、医師の信頼や病院の意思決定プロセスを直接得ることはできない。法的文書を作成できても、ベテラン弁護士に代わって責任を負うことはできず、何が適格な法律業務かを定義することもできない。
したがって、真に競争優位性を持つ将来のAI企業は、単に汎用モデルより賢いのではなく、特定の業界に深く入り込み、困難だが重要な「翻訳」作業を完了する。つまり、クライアントのプライベートな現実、ツール、プロセス、判断基準を、モデルが行動できるシステムに整理し、長期サービスの中で「良い結果とは何か」の定義を徐々に書き下ろすのだ。AIが強力になればなるほど、測定可能で複製可能なタスクの価値は低下する。同時に、歴史、関係性、権限、専門的判断を伴う「訓練不可能なもの」の価値が際立つ。これこそが、モデルに飲み込まれた後も残りうる真の価値である。
以下が原文である:
2026年半ば、投資家版の「AI精神錯乱」とは、投資する価値のあるものは何もないという絶望感だ。つまり、すべての資金をAnthropicとNvidiaに投じて、家に帰って寝るべきだという感覚だ。しかし、私はこれまで一度もそのような感覚を持ったことがない。過去数回のマイナーバージョンを通じて、モデルはすでに私より賢いと確信している。市場価格でAnthropicとNvidiaを購入できれば喜んでそうするだろう。私の周りの最も賢い友人たちも、モデルの自己改善がすぐに実現すると確信している。それでも、私はその絶望感を感じていない。
この絶望は愚かではない。その論理はこうだ:もしモデルがすべての分野で継続的に強くなり続けるなら、そのモデルの上に構築されたすべての企業は、モデルに吸収されるのを待つだけの薄い殻に過ぎなくなる。最終的に価値を残せるのは、計算能力と最先端のモデル重みだけだ。
ソフトウェアを例に挙げると、これはこの絶望感が最も依存するケースだ。Devin が2024年にリリースされた時、標準的なソフトウェアベンチマークのタスクの13%しか解決できず、市場からはほぼ軽視されていた。1年半後、最強のエージェントは80%以上の高得点を達成し、ゴールドマン・サックスやアメリカ陸軍内部で実際の業務を処理し始めている。ほとんど全員が同じ誤った結論に達した:モデルがソフトウェアエンジニアリングを飲み込んだ、と。
しかし、モデルがソフトウェアエンジニアリングの中で最も測定しやすい部分を飲み込んだ時、私たちは多くのチームが以前から知っていた点を再認識している:エンジニアリングは本来、測定に抵抗するものであり、最も測定しやすい部分が必ずしも唯一重要な部分ではないということだ。
MIT の Mert Demirer とその共同研究者たちは、ついにこれを定量化した:10万人以上の開発者において、最新世代のコーディングエージェントはコード作成量を約180%向上させたが、実際に本番環境にデプロイされたコード量は約30%の増加にとどまった。コードを書くことは安くなったが、残りの工程は依然として人間を介する必要があり、これらの工程は重要だ。もちろん、全体的な純影響は依然として驚異的である。
ベンチマークは、測定可能なものだ。そして測定可能なものはすべて、トレーニングに利用できる。そのため、コーディングエージェントが最初に成熟した:コンパイラは無料の検証器であり、テストスイートも無料の検証器だ。答えをほぼゼロコストで自己チェックできるなら、そのチェック信号を中心に磨き上げ、突き抜けるまで続けられる。
しかし、テストに合格することは、その変更が10年間稼働しているコードベースにとって正しいことを意味するわけではない。そのモジュールが存在する理由には、誰も文書化していない3つの要因があるかもしれない。デプロイパイプラインは、誰も自分が書いたと認めたくない cron job でかろうじて維持されているかもしれない。
この正しさはリーダーボードから読み取ることはできず、実際には何からも直接読み取ることはできない。複雑なシステムを現実世界で十分に長く稼働させて初めて、それが本当に機能するかどうかを知ることができる。そして、より賢いモデルが現実世界をより速く動かすわけではない。Google のような巨大なシステムでユニットテストを実行し、緑色のチェックマークを見ただけで完全に安心する人はいない。あなたがそれを信頼するのは、それが長年にわたって実際の負荷に耐えてきたからだ。
この正しさは、単に私的なものであるだけでなく、ゆっくりと形成される堀(モート)であり、資本が直接時間を圧縮できない堀でもある。楽観論者でさえ、この時計は飛ばせないと認めている。OpenAI の推論モデルの先駆者 Noam Brown は最近こう書いている:エージェントの1年間のパフォーマンスを評価する唯一の信頼できる方法は、実際にそれを1年間稼働させることかもしれない、と。
Gabe Pereyra氏が指摘するように、真の自動化とは単にモデルが強くなることではない。それはプロダクト、モデル、ワークフロー、そして企業組織が一体となって変化することであり、この4つの要素のうち3つは組織のペースで進む。
人を動かすことこそ、あらゆるベンチマークが及ばない領域だ。懐疑的なパートナーを説得して業務の進め方を変えさせたり、チームが再構築の過程で結束を保つように導いたりすること。これこそが、CEOを採用する際に、分析能力と少なくとも同等以上に、人を扱う能力を重視する理由でもある。モデルが賢くなっても、この比重は変わらない。
ここでのフィードバックは曖昧で、時間軸は年単位であり、信頼は特定の個人に属する。私の知るすべての企業は、すでに全エンジニアに最先端のコーディングモデルを使わせているが、エンジニアリング組織がモデルの進歩に近い速度で変化した企業は一つもない。ツールの導入には四半期しかかからなかった。あれはなんと魔法のようなトークン成長期だったことか!しかし、真の再構築には数年を要する。
可視化可能な仕事は消えつつある。真に価値のある仕事は、構造的に読み取ることが不可能だ。リーダーボードに載せられるものはすべて、訓練に利用できる。したがって、測定可能なものはすべて、すでにコモディティ化へと向かっている。このプロセスには時間がかかり、完全に完了することは決してないが、その方向性が逆転することもない。
私の友人であるRipplingのMatt MacInnis氏の言葉を借りれば、これを金銭の言葉に置き換えるとこうなる。汎用的な質問に答えるだけのトークンは、誰のモデルでも答えられるため、ほぼ無価値だ。しかし、自社のデータに基づいて推論を行うトークンは、はるかに価値が高い。なぜなら、それはもっともらしい答えを生成するだけでなく、あなたが本当に望むことを実行するからだ。
可読性のある仕事は、二つの方向から飲み込まれていく。
下からは、タスクが飽和状態になる。一度、ある仕事が低コストで検証可能になれば、買い手はどのモデルがそれを完了したかに関心を持たなくなり、代わりにその価格を問い始める。すると、その仕事はその週で最も安価なオープンソースモデルや蒸留モデルに委ねられることになる。利益率が機能する限り、最終的には必ずそうなる。
上からは、ラボがモデル自身にその足場を飲み込ませようと試みている。検索、安価な呼び出しと高価な呼び出しの間のルーティング、ツールの使用、さらには推論戦略に至るまで、かつてモデルの外側を包んでいたすべての仕掛けが、モデルの重みの中に引き込まれつつあり、「外殻」自体がモデルになるまで続く。これが吸収境界だ。
利益圧力は別の方向からも作用する。汎用エージェントは常にあらゆる事態に対応できる準備が必要なため、コストが高い。一方、特化型アプリケーションはワークフローを極限まで最適化し、ごく一部のトークンしか消費しないようにできる。そして、これらのトークンを販売するラボとは異なり、アプリケーション企業はその中間の差額を自社に留めることができる。
したがって、あらゆる仕事に対して2つの質問を投げかけることができる。その正しさは私的で高価なものか、つまり特定の企業のデータ内部にのみ存在する真実なのか? それは外部者がアクセスできないシステム内に隔離されているのか? これらの質問をタスクの飽和度と組み合わせると、2×2のマトリックスが得られる。
すでに飽和しており、答えが公開されている仕事は、コモディティ化されたトークンの領域であり、オープンソースモデルがそれを占める。最先端だが答えが公開されている仕事、例えばコーディングベンチマークは、ラボが勝つ領域だ。なぜなら、評価が無料である場合、それを所有すること自体に価値がないからだ。
本当の賞品は、最後のコーナー、つまり「訓練不可能」なコーナーだ。最先端の仕事でありながら、その正しさが私的な環境にのみ存在するものだ。これは、AIネイティブの先駆者にサービスを提供する推論クラウドで見られる。トークンの大部分は、汎用のオープンソースモデルではなく、カスタムモデルによって生成されている。
この最後のコーナーへの壁は、高低さまざまだ。開発者のおもちゃのようなコードベースは移行可能で標準化されているため、這い入るのは難しくない。しかし、銀行の本番システムは移行可能でも標準化でもない。SWE-Bench Verifiedで2%賢くなったからといって、そのルート権限を得られるわけではない。
能力は多くのものを飲み込むが、より優れたモデルが私的な真実の基準を公開基準に変えるわけではない。それはライセンスを保持せず、責任に署名せず、企業の書類を所有しない。答えが間違っていた場合、訴えられる側になることもない。ここでのボトルネックは知能ではなく、権限であり、責任である。誰よりもはるかに賢いモデルを想像することはできるが、それでもなお、ドアを通ることを許可されなければならず、そして誰かがその行動に署名しなければならない。
そのドアには鍵があり、そして閂(かんぬき)がある。
その鍵は環境だ。システム内部で信頼を得て、セキュリティ審査を通過し、統合を完了し、結果責任を伴う契約に署名して初めて、AIが本当に有用なことをしたかどうかを検証できる。
その閂はユーザーだ。今日、ほとんどのアメリカの医師は毎日OpenEvidenceを開く。これはどんな計算能力でも買えるものではない。あるラボは明日、完璧な医療モデルを訓練できるかもしれないが、それでも医師の使用習慣に入り込む方法も、UCSFの意思決定プロセスに入り込む方法もない。なぜなら、信頼はゆっくりと築かれるものであり、関係性やユーザーの暗黙の同意によるものであって、勾配降下法でそれらを消し去るものではないからだ。
これこそが、アプリケーション企業の仕事である。アプリケーションが「訓練不可能」なコーナーに位置を占めるのは、華やかではない仕事によるものだ。企業の私的な現実を整理し、モデルがそれに基づいて行動できるようにすること。行動ツールをモデルに渡すこと。顧客と共に、その労働力の実際の運用方法を変えること。
このような「翻訳」を実現できる企業は模倣が難しく、その翻訳が終わることは決してありません。統合とメンテナンスは顧客関係とともに永続的に続きます。この分野で勝ち残るのは、ドメイン専門のエンジニアとツールを顧客のそばに配置するチームです。
例えば、トップクラスの老舗法律事務所では、M&A業務だけで年間約1,000件の取引があります。何百人ものパラリーガルに顧客ファイルをデスクトップにダウンロードさせ、それを汎用エージェントに読み込ませるわけにはいきません。機密保持の観点からも許されず、他にも十数もの問題があります。仮にそれが可能だとしても、得られる知識は断片的なものに過ぎません。一人のアシスタントが一度に少しずつ修正するだけで、取引全体の流れを誰も把握できないのです。
本当に重要なシグナルは、取引レベルに存在します。取引には独自の形状があります。M&Aであれば、NDA、タームシート、デューデリジェンス、買収契約、付属文書、クロージングリスト。知的財産訴訟であれば、申立、証拠開示、先行技術、さらなる申立。各業務領域には独自の構造があり、弁護士もツールも自由に交換できるものではありません。
そして、この法律事務所が本当に解決すべき問題は、さらに上位のレベルにあります。それは、トップパートナーが数百もの案件を並行管理しながら、新規案件を獲得し、アソシエイト弁護士を育成するのと同様に、すべての業務領域を同時に運用する方法です。このような企業を変革することは、単一の評価タスクとして記述できる問題ではありません。それは、まるで「データ野球」のように扱うオペレーターが必要です。中間目標は極めて曖昧で、フィードバックは不完全、サイクルは非常に長く、環境自体も静止していません。
残念ながら、読み取れない価値は販売も困難です。その理由は、コモディティ化が難しいのと同じです。企業は外部から、AIがベンチマークテストで示すように実際に業務を変革できるかどうかを判断できません。そのため、最も強い企業は外部で自分たちを証明しようとするのをやめ、まず顧客内部に入り込み、その結果に対して価格を設定します。
Sierraは、エージェントが顧客の問題を解決した場合にのみ課金し、問題が人間に転送された場合は課金しません。したがって、価格そのものが評価メカニズムとなります。これが成立するのは、Sierraが「解決済み」の定義権を持っているからです。CognitionのDevinはソフトウェア分野で同様のことを行い、「パフォーマンス保証」を導入しました。システム内部に信頼されて入り込むことができて初めて、結果に対してこのような保証を提供する資格が得られるのです。
トークンサービスを提供するレベル、つまり誰もが純粋なコモディティと呼ぶことを好むそのレベルでさえ、実際にはコモディティのように振る舞いません。最高のAIネイティブ企業は、BasetenやFireworksのような1~2社のプロバイダーにサービスを集中させます。なぜなら、トークンあたりのコストは時間とともにコモディティ化しますが、実際のトラフィック下での信頼性や、希少な計算リソースへの安定したアクセスはコモディティ化しないからです。推論をどこで提供するかは、どのモデルを使用するかとは別の選択です。推論において本当にコモディティに近いのは、価格だけです。
よくある反論はこうだ:ラボはお前のサプライヤーだ。なぜラボが自社のファーストパーティ製品を原価割れで投げ売りしてお前を潰さないのか?あるいは、お前のAPIアクセス権を直接剥奪して、自らこの市場を奪い取らないのか?これこそ、あの絶望感のリアルなバージョンだ。しかし、これはモデル層がシングルプレイヤーゲームである場合にのみ成立する。
明らかに、現実はそうではない。モデル層はむしろ、3社半のプレイヤーによるデスマッチのようなもので、その傍らにはトレーニング進捗が約6ヶ月遅れている国際プレイヤーたちと、昨年の5倍の規模に成長したデベロップメントリーグが存在する。顧客はサプライヤー間の競争を望んでおり、ラボは特定のアプリケーションを潰すことよりも、マーケットシェアを獲得することを重視している。
これは、ラボが正面から競争する市場で見て取れる。消費者向けチャットのシナリオでは、最高のモデルが単純に市場全体を席巻したわけではない。ChatGPTは長年にわたる実際の競争の中でリーダーシップを維持してきたが、現在失っているシェアはGeminiに流れており、その理由はモデルが優れているからではなく、Androidと検索のディストリビューション能力によるものだ。Anthropicは現在、予測市場やインターネット上の雰囲気において最高のモデルを持つと評価されているが、消費者向けチャットではほとんど主要プレイヤーではなく、企業向けやコーディングのシナリオでビジネスを築いている。
もしより優れたモデルが最もコアなアプリケーションで競合他社のユーザーを奪えないのであれば、統合によって病院のカルテシステムや銀行の責任体系を簡単に飲み込むこともできない。今日、一般ユーザーはコーディング能力だけで製品を選んでいるわけではない。フロンティアモデル層が依然として混雑しているなら、その上のアプリケーション層には価値が生まれる。
もしある作業が外部から評価できないのであれば、内部で誰かが「良い答え」とは何かを決めなければならない。そして、この決定こそがゲームそのものだ。十分な数のこうした決定が書き留められれば、それはベンチマークとなる。Harveyは法律分野のベンチマークを公開し、Sierraは音声エージェントのベンチマークを公開した。あなたが特定の領域で「良い」とは何かを定義する権利を持つのは、その領域がすでにあなたを利用しているからだ。そして、これらの企業は、実際の採用プロセスにおける厳しい闘争を通じて、この権利を勝ち取っている。
実際に資金の流れを決定する評価は、非公開で企業ごとに形成されるものだ:この企業は、この種の事項において、何を良い仕事として受け入れるのか。そして、このプロセスはまだ完了していない。なぜなら、法律の深さはあらゆる公開テストをはるかに超えているからだ。OpenEvidenceは、安全な臨床回答とは何かを沈殿させつつある。
これらはすべて、実際には「測定」ではなく、何が真実で何が良いかという判断である。これらの判断は書き留められ、やがて他の全員が評価される基準となる。基礎モデルラボがどれほど賢くなろうとも、これらの基準をゼロから書き出すことはできない。なぜなら、その地位は領域内部にのみ存在するからだ。
この権威は、往々にして元々存在していた場所に落ち着く。ベテランの弁護士が法的基準を書き、安全な臨床的答えを定義するのは医師だ。「解決済み」の意味を決めるのは、すでに顧客関係を持つ企業である。
吸収の境界線はさらに上昇し続ける。なぜなら、私たちはより多くの仕事を測定する方法を学び続け、測定可能なものは飲み込まれるからだ。訓練不可能な地面は、その上に立つ者の足元で絶えず縮小していく。だから、守れるポジションを見つけて立ち止まるわけにはいかない。まだ評価できない場所へと絶えず進み、リスクを継続的に再引き受けし、再判断しなければならない。
狭いタスクにおいて、自社のプライベートデータと独自の評価システムを用いれば、フロンティアレベルまで訓練し、重要なシナリオで汎用モデルを打ち負かすことができる。この特化モデルは、堀の一部となる。一方、汎用モデルの能力で競争するなら、それは資本戦争であり、最も多くの計算リソースを持つ者に敗れる。これは、浅いアクセス権しか持たず、タスクが高度に可読な企業が最も陥りやすい罠でもある。
企業が生き残るために、広範な汎用タスクにおいてフロンティアモデルを超える能力を訓練する決断をした時、勝敗は通常、データセンターの規模によってすでに決まっている。最終的な結末は、独立したチャンピオンが現れるのではなく、十分な計算リソースを持つプレイヤーに売却されることである。
以上はすべて防御だ。より難しいのは攻撃である。まず、何を構築すべきかを決めること。これこそ、私がこの一年間探し求めてきたものであり、おそらく三回しか見つけられなかった。モデルはこの点では役に立たない。モデルをどこに向ければ、その通りに動作する。しかし、何が指し示す価値があるかを教えてはくれない。そのためのベンチマークを構築することはできず、したがって訓練することもできない。
これこそが、既存の巨人がすべてを奪い去らない理由でもある。彼らは自分たちがすでに持っている領域を守り、次のものは、他の誰よりも先に用途を発見した者から生まれる。おそらく、意図は計算リソースよりも希少なインプットなのかもしれない。
この絶望感は半分正しい。薄い外殻層は確かに吸収されつつあり、今日、企業のように見えるものの多くは、実際には薄い外殻に過ぎない。しかし、「吸収された後に何が残るか」という判断は間違っている。メカニズムは明らかだが、終着点はそうではない。
私が賭けたい方向性はこれだ。知能はさらに安くなり続け、価値は少数のモデルが到達できない場所へと滑り続ける。訓練不可能なものとは、歴史を帯びた価値である。
だから、そうした領域の一つに入り、華やかではない翻訳作業を行い、そこで「良い」の定義を書き始めよ。なぜなら、誰かが必ずそうするからだ。今年最も頻繁に引用されたベンチマークスコアは、実はもうすぐ無価値になる領土の地図であり、ある通知でもある。特定の人々に、彼らが「良い」を定義する権利を失おうとしていることを知らせる通知である。
[原文リンク]
BlockBeats の公式コミュニティに参加しよう:
Telegram 公式チャンネル:https://t.me/theblockbeats
Telegram 交流グループ:https://t.me/BlockBeats_App
Twitter 公式アカウント:https://twitter.com/BlockBeatsAsia