動察 Beating AI 速報、LLMトレーニングとCPU形式検証を経験したエンジニアのJay Kruer氏が投稿し、OpenAIが1万以上のAgentを使ってNavier-Stokes問題を攻略したからといって、AIがすでに知識労働者を独立して代替できるわけではないと述べた。
彼の核心的な理由はシンプルだ。数学の問題には明確な答えがあり、Leanで自動チェックもできる。現実のプログラミング、研究、企業業務では、目標がしばしば曖昧で、結果の正しさを直接判断できるプログラムも存在しない。
信頼できる自動チェックがなければ、人間がずっとAIを監視しなければならない。タスクのルールを十分に厳密に記述するには、高コストなドメイン専門家も必要になる。Kruer氏は、この監督と検収のコストが、人間が自分で作業をこなすよりも高くなる可能性さえあると考えている。
そのため彼は現在のLLMを「チート級インターン」と呼んでいる。能力は高く、仕事は速いが、まだ安心して任せることはできないというのだ。