lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
ホーム
OPRR
速報
深堀り
イベント
BlockBeats Pro
もっと見る
資金調達情報
特集
オンチェーン生態系
用語
ポッドキャスト
データ
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
Partnered With:

どんなに優れたツールでも人の心は読めない、美団が新たなエージェントベンチマークVitaBench 2.0を発表

動察 Beatingのモニタリングによると、美団(Meituan)のLongCatチームは、シンガポール国立大学、中国科学技術大学、北京郵電大学、浙江大学と協力し、エージェント評価ベンチマーク「VitaBench 2.0」を発表した。この評価システムは、大規模言語モデル(LLM)の評価を単一タスクから長期・マルチセッションの生活サービスへと拡張し、エージェントのパーソナライズモデリングと能動的インタラクションにおけるパフォーマンスを評価する。

評価では、長期間の人間とAIのインタラクションをシミュレーションし、56のユーザープロファイル、2000以上の動的嗜好ラベル、そしてフードデリバリー、店舗消費、オンラインツーリズムなどの分野における819のサービスリクエストを含む。テストの結果、ツール呼び出しのエラー率が大幅に低下するにつれ、ユーザーの嗜好を捕捉・適用することが、エージェントの実用化における核心的なボトルネックとなっていることが判明した。

複数の最先端LLMの評価において、長期パーソナライズサービスにおけるLLMの欠陥が集中的に露呈した。全履歴を読み取れる理想的な全コンテキストモードでも、最も優れたパフォーマンスを示したClaude-Opus-4.6の独立4回実行の平均スコア(Avg@4)はわずか0.503であり、非思考モデルで最強のDeepSeek-V4-Proでも0.456にとどまった。

多くのモデルは外部メモリモジュールを導入しても、そのパフォーマンスは全コンテキストベースラインを安定して上回らなかった。エージェントが自律制御するメモリは更新中に情報を失うことが多く、検索拡張生成(RAG)は表面的に類似したノイズに干渉されやすい。同時に、思考モードを有効にしてもパーソナライズモデリングに体系的な優位性は見られず、ノイズフィルタリングや能動的質問は単なる論理的推論では解決できないことが示された。

テストではまた、LLMの能動的質問と嗜好適用における根本的な問題が明らかになった。情報が不足している場合、モデルはしばしば盲目的に推測し、先走って意思決定を行う。その結果、Claudeエージェントの能動的インタラクションタスクにおけるパフォーマンスは46.0から27.4に急落し、DeepSeekは44.1から27.8、GLMも36.4から19.3に低下した。メモリに最も正確な標準嗜好データを直接入力しても、DeepSeekとClaudeのスコアはそれぞれ52.7と51.2にとどまり、LLMの実際の意思決定において、ユーザーの嗜好を適切に順序付け、統合し、実行することは、嗜好の抽出自体よりもはるかに難しいことを示している。

エラー原因の分析によると、LLMの能力の進化に伴い、ツール使用に関するエラーは大幅に減少した一方、嗜好理解の偏りによるエラーが支配的になりつつある。エージェントの将来の核心的な障壁は、もはや単なるツール呼び出しではなく、ユーザーの言外の意味を真に理解し記憶することにある。

関連おすすめ
美団系、順為資本、梁文鋒氏傘下の機関は含み益が大きく、大疆は初期の投資完了に至らず巨額のリターンを逃した。
IPO前夜、テクノロジー新興企業の王興興氏は、宇樹科技の時価総額を1.79万倍に引き上げる方法をどうやって実現したのか。
訂正/通報
送信
新しいライブラリを追加
自分のみが閲覧可
公開
保存
ライブラリを選択
新しいライブラリを追加
キャンセル
完了