話題のAIプロジェクト「J-Space」が捏造疑惑を指摘され、コミュニティによる再検証の結果が公式データと「完全に逆」であることが判明。

BlockBeats メッセージ、8月18日、MaxForAI の開示によると、本日 X プラットフォームで話題となった AI プロジェクト J-Space Cognition Suite がコミュニティから疑問視され、宣伝されていた DeepSeek V4 のテスト成績が再現できないと指摘された。プロジェクトは以前、V4 Flash と J-Space を組み合わせることで GLM-5.3 に追いつき、V4 Pro は複数の Agent Benchmark で Fable 5 を上回り、同時に速度が 2.53 倍、Token 効率が 2.21 倍向上すると主張していた。

GitHub ユーザー GoForceX は Terminal Bench 2.1 の 87 問のサブセットを使用して高並行での再テストを実施し、J-Space 関連モジュールのロードを確認した。結果、J-Space を追加した後、Benchmark の成績はむしろわずかに低下し、Token 使用量とコストはともに増加しており、プロジェクトが主張する性能、速度、および Token 効率の向上方向とは逆の結果となった。

コミュニティはその後、プロジェクトに対し、完全な評価設定、問題ごとの結果、実行ログ、元の所要時間、および Token 消費などのデータの公開を要求した。現在、プロジェクトは主に集計結果を公開しているが、上記の正確なデータを検証するのに十分な完全な元の実験記録は提供されていない。注目すべきは、疑問視に対して、プロジェクトの作者は関連データが「確かに誇張されている」と応じ、実際の向上はおおよそ 1.6 倍から 3 倍の間であると述べたことだ。現在までに、作者はコミュニティの疑問視に対して正式な回答をしておらず、関連する疑問視の Issue の一部はすでに削除されている。