動察 Beating AI 速報、AI 記憶企業 Engram が法律 AI 企業 Harvey と共同で実験を行った:まず仮想法律事務所を創設し、そこに 1 億トークン、約 1 万件のファイル、266 件の法律事項を用意し、その後 Qwen3.8-27B に事前にこれらの知識を「頭に叩き込ませた」。一部は直接モデルパラメータに記録され、一部はノートに整理され、必要に応じて検索される。
その結果、この 27B 小規模モデルは 250 件の法律タスクで平均スコア 67% を獲得し、全参加モデルを上回った。単一クエリのコストは約 0.13 ドルで、Claude Opus 4.8 の高強度推論の 1/10 から 1/24 に過ぎない。より厳格な全問正解率でも、30% 対 25% で Opus 4.8 をリードした。
トレーニング前、Qwen に検索ツールを与えず、事務所内の具体的な事項を直接尋ねたところ、正確率はわずか 4.7% だった。トレーニング後は 72.6% に上昇した。トレーニング後のモデルは資料探しもより得意になり、99.2% のタスクで最初から直接ターゲット検索を実行した。
ただし、現在の実験はまだ仮想法律事務所を使用している。実際の企業データは日々変化するため、モデルがどのように記憶を継続的に更新するかが、依然として最大の課題である。