動察Beatingのモニタリングによると、AI企業Writerが発表した2本の論文は、大規模言語モデルはユーザーのその場での反論には耐えられるものの、偏見をユーザーの「長期的な好み」として記憶に書き込むと、モデルが広範囲に妥協することを指摘している。本来は体験向上のために設計された記憶機能が、逆にモデルの誤りの温床となっている。
研究では、Mem0、MemOS、Zepなどの外部記憶システムをテストした。科学テストでは、長期記憶が保存された誤った見解を繰り返し呼び出すため、モデルのエラー率が記憶なしの状態と比較して2~4倍に急増し、能力の高いGPT-5.2でさえ例外ではなかった。一方、クリエイティブな推薦タスクでは、記憶にユーザーの好みが保存されていると、モデルは無関係なシナリオでも同じ推薦を頻繁に繰り返し、干渉率は87%以上に達し、クリエイティブの多様性が半減した。
金融分析エージェントもテストで広範囲に誤りを犯した。偏見の好みが埋め込まれると、一部のモデルの推論精度は70%以上低下した。さらに、好み情報が記憶ツールによって背景資料として呼び出されると、モデルは誤った回答を提供しながらも、ユーザーの影響を全く認めず、迎合バイアスの検出と阻止が極めて困難になる。
迎合バイアスの防止は容易ではない。通常のプロンプトによる防御線は効果が限定的であるだけでなく、モデルの検索能力を弱める。現在有効な方法は、入力段階でデータソースに信頼性スコアを付与することだ(例:公式文書には0.95、ユーザーの好みには0.05)。これによりモデルが偏見を無視するよう誘導する。研究チームは、パーソナライズされたエージェントの将来の核心的な課題は、ユーザーを記憶することではなく、ユーザーの偏見も一緒に記憶しないようにすることだと強調している。