動察Beatingの監視によると、実際のウイルス遺伝子データを検索する際、GPT-5.5やClaudeといった最先端のAIエージェントでさえ頻繁に誤りを犯す。従来の生物学データベース(NCBIなど)は構造が乱雑でインターフェースの互換性が低いため、大規模モデルが安定して適切なデータセットを選別するのは難しい。検索の信頼性を高めるため、Anthropicは米国国立生物工学情報センター(NCBI)と協力し、決定論的検索ツール「gget virus」を開発した。導入後、AIのデータ検索精度は直接ほぼ100%に向上した。
研究チームは自社開発のVirBenchベンチマーク(40種類の病原体と120の検索タスクを含む)を用いて各モデルをテストした。ツールの補助がない場合、AIの検索精度は16.9%から91.3%の間で大きく変動し、同じ指示を複数回実行しても結果は極めて不安定だった。例えば、266件の配列が返されるべきクエリで、Claude Sonnet 4を3回実行したところ、それぞれ106件、15件、5件しか取得できなかった。厳密な生物学研究において、遺伝子データが少しでも欠落すると壊滅的な結果を招く。不完全なデータでエボラウイルスの系統樹を再構築すると、感染源の時期が誤って約1世紀も遡ってしまう。また、maftivimabやMBP134といった抗体医薬の有効性を評価する際、AIは重要なウイルス変異部位を見逃し、治療計画の評価を直接誤らせる可能性がある。
新たに開発されたgget virusは、複雑な生物学データベースの下に「専用トンネル」を敷設するようなものだ。決定論的検索層として、gget virusは基盤となるREST、Datasets、E-utilitiesなどの複数のAPIを自動調整し、バッチダウンロード、ローカルフィルタリング、GenBankレコードの抽出を処理し、標準化されたログを出力する。導入後、すべてのエージェントの検索精度は90%を超え、GPT-5.5は99.7%に達し、複数回実行時の不一致が完全に解消された。これは、適切なツールを組み合わせれば、低コストのモデルでも極めて高い信頼性を提供できることを意味する。研究チームは、将来の生物学データベースはAndrej Karpathyが提唱する開発理念、すなわち「エージェント向けに構築する(build for agents)」を実践し、AIを中核的な大規模ユーザーとして設計し、高信頼性の生物学コンテキストエンジンを構築すべきだと考えている。