動察 Beatingのモニタリングによると、美団(Meituan)のLongCatチームは、シンガポール国立大学、中国科学技術大学、北京郵電大学、浙江大学と協力し、エージェント評価ベンチマーク「VitaBench 2.0」を発表した。この評価システムは、大規模言語モデル(LLM)の評価を単一タスクから長期・マルチセッションの生活サービスへと拡張し、エージェントのパーソナライズモデリングと能動的インタラクションにおけるパフォーマンスを評価する。
評価では、長期間の人間とAIのインタラクションをシミュレーションし、56のユーザープロファイル、2000以上の動的嗜好ラベル、そしてフードデリバリー、店舗消費、オンラインツーリズムなどの分野における819のサービスリクエストを含む。テストの結果、ツール呼び出しのエラー率が大幅に低下するにつれ、ユーザーの嗜好を捕捉・適用することが、エージェントの実用化における核心的なボトルネックとなっていることが判明した。
複数の最先端LLMの評価において、長期パーソナライズサービスにおけるLLMの欠陥が集中的に露呈した。全履歴を読み取れる理想的な全コンテキストモードでも、最も優れたパフォーマンスを示したClaude-Opus-4.6の独立4回実行の平均スコア(Avg@4)はわずか0.503であり、非思考モデルで最強のDeepSeek-V4-Proでも0.456にとどまった。
多くのモデルは外部メモリモジュールを導入しても、そのパフォーマンスは全コンテキストベースラインを安定して上回らなかった。エージェントが自律制御するメモリは更新中に情報を失うことが多く、検索拡張生成(RAG)は表面的に類似したノイズに干渉されやすい。同時に、思考モードを有効にしてもパーソナライズモデリングに体系的な優位性は見られず、ノイズフィルタリングや能動的質問は単なる論理的推論では解決できないことが示された。
テストではまた、LLMの能動的質問と嗜好適用における根本的な問題が明らかになった。情報が不足している場合、モデルはしばしば盲目的に推測し、先走って意思決定を行う。その結果、Claudeエージェントの能動的インタラクションタスクにおけるパフォーマンスは46.0から27.4に急落し、DeepSeekは44.1から27.8、GLMも36.4から19.3に低下した。メモリに最も正確な標準嗜好データを直接入力しても、DeepSeekとClaudeのスコアはそれぞれ52.7と51.2にとどまり、LLMの実際の意思決定において、ユーザーの嗜好を適切に順序付け、統合し、実行することは、嗜好の抽出自体よりもはるかに難しいことを示している。
エラー原因の分析によると、LLMの能力の進化に伴い、ツール使用に関するエラーは大幅に減少した一方、嗜好理解の偏りによるエラーが支配的になりつつある。エージェントの将来の核心的な障壁は、もはや単なるツール呼び出しではなく、ユーザーの言外の意味を真に理解し記憶することにある。