ARC-AGI-4の事前予告：次世代ではAIが自ら発明できるかどうかをテストする

動察 Beating AI 速報、非営利AI評価機関ARC PrizeがARC-AGI-4を予告。次世代ベンチマークは「自律的なオープンエンドイノベーション」のテストに重点を置き、AIが自ら探索し、新しいアイデアを提案し、さらには新しい発明や発見ができるかを見る。

具体的な問題、採点方法、公開時期はまだ発表されていない。ARC Prizeは、人間はオープンエンドイノベーションにおいて依然としてAIを明らかにリードしており、これが科学技術の進歩を推進する最も重要な能力の一つだと述べている。

この予告はまた、Dario Amodeiが先ごろ発表したAI減速に関する文章を引用している。ARC Prizeは、オープンソースが依然としてAI進歩の基盤であり、調整のために減速し、開放性を減らし、フロンティアAIを少数の機関に集中させる業界の動きに反対すると強調している。

ARC-AGIはこれまで世界最难のAGI評価の称号を与えられてきた。ARC-AGI-3の発表時、人間のスコアは100%、フロンティアAIはわずか0.51%だった。最新のGPT-6 Astraは大幅に追いついたが、統一されたStandard harness下では62.7%にとどまり、OpenAI独自のProvider Adapterを接続して初めて99.9%に達した。

ARC Prizeは今、次の関門を「AIが自らイノベーションを起こせるか」に押し進めようとしている。