OpenAI、トップAIエージェントの評価を再構築するためにPaperBenchをオープンソース化

BlockBeats ニュース、4 月 3 日、AIGC オープン コミュニティ ニュースによると、本日午前 1 時に、OpenAI が新しい AI エージェント評価ベンチマーク PaperBench をオープンソース化しました。このベンチマークでは、主にインテリジェントエージェントの検索、統合、実行機能をテストし、論文の内容を理解し、コードを記述し、実験を実行する能力を含む、2024年の国際機械学習会議のトップ論文の再現が求められます。

OpenAI が公開したテスト データによると、有名な大規模モデルによって作成されたインテリジェント エージェントは、現時点では機械学習のトップ博士に勝つことができていません。しかし、科学研究の内容の学習と理解を支援するのに非常に役立ちます。