バイトがDeepSeek-V4の隠れた盲点を暴く：コードは変わらないのに、答えが周期的に間違う

動察 Beating AI 速報、字節跳動のSeedチームは、DeepSeek-V4が長文処理において規則的な弱点を持つことを発見した。研究者がモデルにコードの一部を補完させたところ、コード自体は変わらず、前方の無関係なコメントを延長しただけで、モデルの回答が正解と誤答の間で交互に切り替わった。V4-Flashベース版は4トークンごとに1サイクルを繰り返し、V4.1-Flashにも同様の現象が見られ、周期は2トークンになった。

問題はDeepSeekのVRAM節約のための「チャンクKVキャッシュ圧縮」に関係している。モデルは連続するいくつかのトークンの情報を統合して保存し、長文処理のコストを削減する。しかしこの圧縮により、異なる位置の情報が異なる程度で保持され、一部の位置の内容は後で正確に検索することが難しくなる。字節跳動はこの周期的な検索差異を「位相敏感性」と呼んでいる。

約12.8万トークンの検索テストにおいて、V4-Flashベース版は異なる位置での精度が最大40.2ポイント差があった。後訓練を経て、差は19.1ポイントに縮小した。V4.1-Flashはさらに6.1ポイントに縮小したが、周期的な変動は依然として存在する。字節跳動はまた、ゼロから複数の対照モデルを訓練し、変動周期が圧縮ステップ幅と一致することを発見した。チャンク圧縮を使用していない対照モデルには同じ規則性は現れなかった。