11月20日、CertiKはコロンビア大学の研究者らと共同で達成したTensorLean技術成果を公表し、世界初の生産グレードAIオペレータの形式検証を完了した。この突破により、数学的証明を複雑な性能最適化を経た実際のAI計算コードに適用できるようになり、大規模モデル企業が訓練速度の向上や推論コストの削減を行う際に、より厳格な正確性保証を提供できる。
大規模モデルの訓練と回答生成は、AIオペレータライブラリの低レベル計算プログラムに依存している。これらのGPU上で動作するプログラムはGPUカーネルと呼ばれる。一箇所の誤りが、システムが通常通り動作しながら密かに誤った結果を算出し、後続の出力に影響を与え、さらには訓練を予期せぬ方向に逸脱させる可能性がある。シナリオ試算の例では、1億ドルの計算力を投入した訓練で、1%の計算が誤りによりやり直しが必要になれば、追加で100万ドルのコストがかかることを意味する。
形式検証の核心的価値は、数学的証明によって誤りと脆弱性を排除することにある。 通常のテストは具体的なサンプルを通じて問題を発見するが、形式検証は、プログラムが規定された入力と動作条件下で常に要件を満たし、検証範囲内に誤りや脆弱性が存在しないことを証明できる。
この手法を生産グレードのAIコードに適用する難しさは、実際の性能最適化の処理にある。GPUプログラムはデータを移動しながら計算し、タスクサイズに応じて実行スケジュールを調整し、より低精度の演算を採用する。TensorLeanはこれらの複雑な条件を同時に処理し、プログラムのコンパイル後に生成されたPTXコードを直接検証し、計算が規定条件と誤差範囲内で要件を満たすことを証明する。すべての証明はLeanで完了し、機械検証が可能である。
TensorLean研究チームの強巍氏と楊淦翔氏は次のように述べた。「これらの複雑な最適化こそが、生産グレードAIコードが高速に動作する理由である。我々の課題は、これらの実際の動作条件を無視することなく証明を完了し、厳格な検証を実際に使用される高性能コードに適用可能にすることである。」
研究チームは149のコンパイル済みGPUカーネルインスタンスを評価し、形式証明を通じてそのうち83個が対応するLean仕様に適合することを検証した。今回の研究は異なる世代のGPUアーキテクチャをカバーし、DeepSeekのDeepGEMMおよび広く使用されているFlashAttentionオペレータライブラリを含んでいる。チームは合計6つのライブラリで38の正確性問題を発見し、うちDeepGEMMには2個、FlashAttentionには23個が存在した。
CertiK共同創業者でコロンビア大学計算機科学科教授の顧栄輝氏は次のように述べた。「脆弱性を発見した後、修正されたプログラムが規定条件下で要件を満たすことを証明する必要がある。大規模モデル企業にとって、每一回の高速化には信頼できる正確性の根拠があるべきである。我々はこの厳格な検証をコードのイテレーションに追従させ、計算誤りのリスクを大規模訓練と展開の前にできる限り食い止めたいと考えている。」
この成果が大規模モデルベンダーにもたらす実際の価値は、各ラウンドの性能最適化にある。 コード更新後、研究開発チームは速度向上を測定するだけでなく、検証を再実行し、最適化が計算エラーを引き起こしていないかを確認し、要件を満たすプログラムに対して機械検証可能な証明を付与できる。これは計算資源の無駄、訓練の手戻り、誤った結果が後続の計算に流入するリスクの低減に役立つ。
同種の計算は既存の検証要件を再利用できるため、この手法をより多くのカーネルに適用でき、コード更新に伴って繰り返し実行することで、AI 計算効率の継続的な向上に、より信頼性の高い基盤を提供する。
今年10月、Anthropic も Claude を利用してオープンソースソフトウェアの数学的証明を構築する研究を発表した。TensorLean は AI 自身の基盤計算に焦点を当て、自動形式検証がプロダクションレベルの AI コードにおいて持つ応用価値を示している。
BlockBeats の公式コミュニティに参加しよう:
Telegram 公式チャンネル:https://t.me/theblockbeats
Telegram 交流グループ:https://t.me/BlockBeats_App
Twitter 公式アカウント:https://twitter.com/BlockBeatsAsia