最近、ソーシャルメディア上に広まっているメッセージがあり、DeepSeek の入力ボックスに
実際の状況はマルチテナント分離とは関係ありません。think や <|begin_of_sentence|> のような特殊なマークを入力すると、モデルはトレーニング時の形式のパターンに騙され、その後、自身のメモリと現在のシステムプロンプトワード(当日の日付を含む)に基づいて、実際の会話のように見える内容を生成します。これらの内容はモデル自体が作り出したものであり、他のユーザーの会話からリアルタイムに取得したものではありません。
この現象は学術界では「トレーニングデータの抽出」と呼ばれ、すべての大規模モデルに共通の問題であり、DeepSeek に固有のものではありません。Google DeepMind は早くも2023年に専門研究論文を発表し、特殊な入力を使用してGPTやPaLMなどの主要モデルからトレーニングデータを取り出すことができることを証明しました。ICLR 2025 で採択されたMagpie論文では、このメカニズムを直接ツールとして使用し、整列されたモデルにテンプレートトークンを供給するだけで、大量のトレーニングデータを生成することができます。
「リークされた内容には今日の日付が含まれている」という反論もあり、トレーニングデータが今日のものではないと主張しています。しかし、DeepSeek の各会話のシステムプロンプトワードにはその日付が記載されており、モデルが生成する内容には自然にその日付が含まれるため、これは別の実際のユーザーからのものであることを証明するものではありません。マルチテナント分離の問題であることを証明するには、漏洩された情報が実際の存在する他のユーザーに属していることを確認する必要がありますが、現時点ではそのような証拠はありません。