Perplexityが新しいEmbeddingモデルをオープンソース化：全文をまとめて読み込み、チャンク分割してもコンテキストを保持

動察 Beating AI 速報、Perplexity が新しいコンテキスト embedding モデル pplx-embed-v2-context-9b-preview をオープンソース化、主に RAG 検索に使用される。通常の embedding は長い文書を小さなチャンクに分割してそれぞれ理解するが、新モデルはこれらのチャンクを一緒にエンコードし、各チャンクがベクトルを生成する際に文書全体のコンテキストを参照できるようにする。モデルはすでに Hugging Face で公開されており、MIT ライセンスを採用している。

例えば、ある文章に「それは 20% 成長した」とだけ書かれている場合、単独では「それ」が何を指すのか分かりにくい。新モデルは文書の他の部分と組み合わせてこの文を理解できる。訓練時には、答えと答えを裏付ける他の段落を同時に検索することを專門に学習し、後続の AI が答えだけでなく、答えを検証するために必要な証拠も取得できるようにする。

turbopuffer が設計した context-bench のブラインドテストでは、新モデルの Answer@10 は 45.5% に達し、Voyage Context 4 より 14.4 ポイント高かった。Evidence Recall@10 は 40.6% で、5 ポイント高かった。テストには 38,894 件の長文書と 2,099 件のクエリが含まれ、問題は非公開であり、テストセットが訓練データに汚染されるリスクを低減できる。

モデルは現在まだ Preview バージョンである。Perplexity は、今後の重み、インターフェース、生成される embedding が変更される可能性があるため、現在生成されたベクトルが将来のバージョンと直接混用できるとは限らないと注意を促している。