zkPyTorch: ゼロ知識証明をPyTorch推論に注入して、真に信頼できるAIを作成する

原題: zkPyTorch - ゼロ知識証明による検証可能な PyTorch

執筆者: Jiaheng Zhang

ヘルスケア、金融、自動運転などの主要分野における人工知能 (AI) の徹底的な実装に伴い、機械学習 (ML) 推論プロセスの信頼性、透明性、セキュリティを確保することがこれまで以上に重要になっています。

しかし、従来の機械学習サービスは「ブラックボックス」のように実行されることが多く、ユーザーは結果しか見ることができず、プロセスの検証は困難です。この不透明性により、モデルサービスは次のようなリスクに対して脆弱になります。

モデルが盗難される、

推論結果が悪意を持って改ざんされる、

ユーザーデータがプライバシー漏洩のリスクにさらされる。

ZKML (ゼロ知識機械学習) は、この課題に対する新しい暗号化ソリューションを提供します。ゼロ知識証明 (ZKP) 技術を利用して、機械学習モデルに暗号検証機能を提供します。つまり、機密情報を公開することなく計算が正しく実行されたことを証明します。

言い換えれば、ZKP を使用すると、サービス プロバイダーはユーザーに対して次のことを証明できます。

「取得した推論結果は、トレーニング済みのモデルで実行したものですが、モデル パラメータは一切公開しません。」

つまり、ユーザーは推論結果の信頼性を信頼できますが、モデルの構造とパラメータ (多くの場合、高価値資産) は非公開のままです。

zkPyTorch:

Polyhedra Network は、ゼロ知識機械学習 (ZKML) 向けに設計された革新的なコンパイラーである zkPyTorch をリリースしました。これは、主流の AI フレームワークと ZK 技術の最後の 1 マイルを埋めることを目指しています。

zkPyTorch は、PyTorch の強力な機械学習機能と最先端のゼロ知識証明エンジンを深く統合します。AI 開発者は、プログラミングの習慣を変えたり、新しい ZK 言語を学習したりすることなく、使い慣れた環境で検証可能な AI アプリケーションを構築できます。

このコンパイラは、高レベルのモデル演算（畳み込み、行列乗算、ReLU、ソフトマックス、アテンション メカニズムなど）を暗号的に検証可能な ZKP 回路に自動的に変換します。また、Polyhedra が独自に開発した ZKML 最適化スイートと組み合わせることで、主流の推論パスをインテリジェントに圧縮および高速化し、回路の正確性と計算効率の両方を確保します。

信頼できるAIエコシステムの主要インフラの構築

今日の機械学習エコシステムは、データセキュリティ、計算検証可能性、モデルの透明性など、複数の課題に直面しています。特にヘルスケア、金融、自動運転といった主要産業では、AIモデルは大量の機密性の高い個人情報を扱うだけでなく、価値の高い知的財産や中核的な企業秘密も扱っています。

ゼロ知識機械学習（ZKML）が登場し、このジレンマを解決する上で重要なブレークスルーとなりました。ゼロ知識証明（ZKP）テクノロジーにより、ZKMLはモデルパラメータや入力データを漏らすことなくモデル推論の整合性検証を完了できるため、プライバシーの保護と信頼性の確保の両方を実現できます。

しかし実際には、ZKML開発のハードルは非常に高く、暗号技術に関する深い知識が必要となり、従来のAIエンジニアの手の届かないところまで到達します。

これがzkPyTorchの使命です。これは PyTorch と ZKP エンジンの間に橋渡しをすることで、開発者が複雑な暗号化言語を再度学習することなく、使い慣れたコードでプライバシー保護と検証が可能な AI システムを構築できるようにします。

Polyhedra Network は、zkPyTorch を通じて ZKML の技術的障壁を大幅に下げ、スケーラブルで信頼性の高い AI アプリケーションを主流に押し上げ、AI セキュリティとプライバシーの新しいパラダイムを再構築しています。

zkPyTorch ワークフロー

図 1: ZKPyTorch の全体的なアーキテクチャの概要

図 1 に示すように、zkPyTorch は、慎重に設計された 3 つのモジュールを通じて、標準の PyTorch モデルを ZKP (ゼロ知識証明) 互換の回路に自動的に変換します。これらの 3 つのモジュールには、前処理モジュール、ゼロ知識フレンドリーな量子化モジュール、および回路最適化モジュールが含まれます。

このプロセスでは、開発者が暗号回路や特別な構文を習得する必要はありません。開発者は標準の PyTorch を使用してモデルを記述するだけで、zkPyTorch はそれを Expander などのゼロ知識証明エンジンが認識できる回路に変換し、対応する ZK 証明を生成できます。

この高度にモジュール化された設計により、ZKML の開発ハードルが大幅に下がり、AI 開発者は言語を切り替えたり暗号を学習したりすることなく、効率的で安全かつ検証可能な機械学習アプリケーションを簡単に構築できます。

ブロック 1: モデルの前処理

最初の段階では、zkPyTorch は Open Neural Network Exchange 形式 (ONNX) を使用して PyTorch モデルを構造化計算グラフに変換します。 ONNXは、業界で広く使用されている中間表現標準であり、様々な複雑な機械学習演算を統一的に表現できます。この前処理ステップにより、zkPyTorchはモデル構造を明確にし、コアとなる計算プロセスを分解することができ、次世代のゼロ知識証明回路のための強固な基盤を築くことができます。

モジュール 2: ZKP に適した量子化

量子化モジュールは ZKML システムの重要な部分です。従来の機械学習モデルは浮動小数点演算に依存していますが、ZKP 環境は有限体での整数演算に適しています。zkPyTorch は有限体に最適化された整数量子化スキームを使用して、浮動小数点演算を整数演算に正確にマッピングすると同時に、ZKP に適さない非線形演算 (ReLU、Softmax など) を効率的なルックアップ テーブル形式に変換します。

この戦略は、回路の複雑さを大幅に軽減するだけでなく、モデルの精度を確保しながら、システム全体の検証可能性と動作効率を向上させます。

モジュール 3: 階層的回路最適化

zkPyTorch は、回路の最適化に次のようなマルチレベル戦略を採用しています。

バッチ最適化
シリアル化されたコンピューティング用に特別に設計されており、一度に複数の推論ステップを処理することで、計算の複雑さとリソース消費を大幅に削減します。これは、Transformer などの大規模な言語モデルの検証シナリオに特に適しています。

プリミティブ演算の高速化
高速フーリエ変換 (FFT) 畳み込みとルックアップ テーブル テクノロジを組み合わせることで、畳み込みや Softmax などの基本演算の回路実行速度を効果的に向上させ、全体的なコンピューティング効率を根本的に向上させます。

並列回路実行
マルチコア CPU と GPU の計算能力の利点を最大限に活用し、行列乗算などの負荷の高い計算を複数のサブタスクに分割して並列実行し、ゼロ知識証明生成の速度とスケーラビリティを大幅に向上させます。

詳細な技術的説明

有向非巡回グラフ (DAG)

zkPyTorch は、有向非巡回グラフ (DAG) を使用して機械学習の計算プロセスを管理します。 DAG構造は、図2に示すように、複雑なモデルの依存関係を体系的に捉えることができます。グラフ内の各ノードは特定の演算（行列転置、行列乗算、除算、ソフトマックスなど）を表し、エッジはこれらの演算間のデータフローを正確に記述します。

この明確で構造化された表現は、デバッグプロセスを大幅に容易にするだけでなく、パフォーマンスのさらなる最適化にも役立ちます。DAGの非巡回的な性質は、巡回的な依存関係を回避し、計算順序の効率的で制御可能な実行を保証します。これは、ゼロ知識証明回路の生成を最適化するために不可欠です。

さらに、DAGにより、zkPyTorchはTransformerやResNet（ResNet）などの複雑なモデルアーキテクチャを効率的に処理できます。これらのモデルは通常、マルチパス、非線形、複雑なデータフローを備えています。DAGの設計はこれらのコンピューティングニーズにぴったりと合致し、モデル推論の精度と効率を保証します。

図 2: 有向非巡回グラフ (DAG) 形式で表現された機械学習モデルの例

高度な量子化手法

zkPyTorch では、高度な量子化手法は、浮動小数点演算をゼロ知識証明 (ZKP) システムでの効率的な有限体演算に適した整数演算に変換する重要なステップです。zkPyTorch は、計算効率とモデル精度のバランスをとるように慎重に設計された静的整数量子化手法を使用して、証明を生成する際の速度と精度の両方を保証します。

この量子化プロセスには、オーバーフローや大幅な精度の低下なしに浮動小数点数を効率的に表現するための最適な量子化スケールを正確に決定するための厳密な調整が含まれます。 ZKP の独特な非線形演算の課題 (Softmax やレイヤー正規化など) に対して、zkPyTorch はこれらの複雑な関数を効率的なテーブル検索演算に革新的に変換します。

この戦略は証明生成の効率を大幅に向上させるだけでなく、生成された証明結果がパフォーマンスと信頼性の両方を考慮して高精度量子化モデルの出力と完全に一致することを保証し、検証可能な機械学習の実用化を促進します。

マルチレベル回路最適化戦略

zkPyTorch は、高度に洗練されたマルチレベル回路最適化システムを採用し、効率性とスケーラビリティにおいて、ゼロ知識推論の究極のパフォーマンスを多次元から保証します。

バッチ処理の最適化

複数の推論タスクをバッチ処理にパッケージ化することで、全体的な計算の複雑さが大幅に軽減されます。これは、Transformer などの言語モデルの順次操作シナリオに特に適しています。図 3 に示すように、従来の大規模言語モデル (LLM) 推論プロセスはトークンごとの生成モードで実行されますが、zkPyTorch の革新的な方法では、すべての入力トークンと出力トークンを 1 つのプロンプト プロセスに集約して検証を行います。この処理方法により、LLM の全体的な推論が正しいかどうかを一度に確認できると同時に、各出力トークンが標準の LLM 推論と一致していることを保証できます。

LLM推論において、KVキャッシュ（キーバリューキャッシュ）機構の正確性は、推論出力の信頼性を保証する鍵となります。モデルの推論ロジックが誤っている場合、キャッシュを使用しても、標準的なデコードプロセスと整合性のある結果を復元することは不可能です。zkPyTorchは、このプロセスを正確に再現することで、ゼロ知識証明におけるすべての出力が検証可能な確実性と整合性を持つことを保証します。

図3：大規模言語モデル（LLM）計算のバッチ検証。ここで、Lは入力シーケンスの長さ、Nは出力シーケンスの長さ、Hはモデルの隠れ層の次元を表します。

コア操作の最適化

zkPyTorchは、基盤となる機械学習プリミティブを徹底的に最適化し、回路効率を大幅に向上させました。たとえば、畳み込み演算は常に計算集約的なタスクでした。zkPyTorchは高速フーリエ変換（FFT）に基づく最適化手法を使用して、もともと空間領域で実行されていた畳み込みを周波数領域の乗算演算に変換し、計算コストを大幅に削減します。同時に、ReLUやソフトマックスなどの非線形関数の場合、システムは事前に計算されたルックアップテーブル方式を使用してZKPに不向きな非線形計算を回避し、推論回路の動作効率を大幅に向上させます。

並列回路実行

zkPyTorchは、複雑なML演算を並列回路に自動的にコンパイルすることで、マルチコアCPU/GPUのハードウェアポテンシャルを最大限に引き出し、大規模な並列証明生成を可能にします。例えば、テンソル乗算を実行する場合、zkPyTorchは計算タスクを複数の独立したサブタスクに自動的に分割し、複数の処理ユニットに分散させて同時実行します。この並列化戦略は、回路実行スループットを大幅に向上させるだけでなく、大規模モデルの効率的な検証を可能にし、スケーラブルなZKMLの新たな次元を切り開きます。

完全なパフォーマンステスト：パフォーマンスと精度の二重のブレークスルー

zkPyTorchは、厳格なベンチマークテストを通じて、複数の主流の機械学習モデルで優れたパフォーマンスと実用的な使いやすさを実証しました。

VGG-16 モデルテスト

CIFAR-10データセットでは、zkPyTorchは1枚の画像のVGG-16証明生成をわずか6.3秒で完了でき、精度は従来の浮動小数点計算とほぼ同じです。これは、zkMLが画像認識などの古典的なタスクで実用的な機能を持っていることを示しています。

Llama-3 モデルテスト

最大80億のパラメータのスケールを持つLlama-3大規模言語モデルの場合、zkPyTorchはトークンあたり約150秒の効率的な証明生成を実現します。さらに印象的なのは、その出力が元のモデルと比較して 99.32% のコサイン類似度を維持しており、モデル出力の意味的一貫性を考慮しながら高い信頼性を確保していることです。

表1：畳み込みニューラルネットワークとトランスフォーマーネットワークにおけるさまざまなZKP方式のパフォーマンス

現実世界への幅広い応用シナリオ

検証可能な機械学習サービス（検証可能なMLaaS）

機械学習モデルの価値が高まり続けるにつれて、ますます多くのAI開発者が独自のモデルをクラウドにデプロイし、外部にMLaaS（機械学習サービスとしての）サービスを提供することを選択しています。しかし、実際には、ユーザーは推論結果が本物かどうかを検証することが難しいと感じることがよくあります。また、モデルプロバイダーは、盗難や悪用を防ぐために、モデル構造やパラメータなどのコア資産を保護したいと考えています。

zkPyTorchはこの矛盾を解決するために生まれました。クラウドAIサービスがネイティブの「ゼロ知識検証機能」を持ち、推論結果の暗号化レベルで検証できるようにします。

図4に示すように、開発者はLlama-3などの大規模モデルをzkPyTorchに直接接続して、ゼロ知識証明機能を備えた信頼できるMLaaSシステムを構築できます。基盤となるZKPエンジンとシームレスに統合することで、zkPyTorchはモデルの詳細を公開することなく自動的に証明を生成し、各推論が正しく実行されたかどうかを検証できるため、モデルプロバイダーとユーザーにとって真に信頼できるインタラクティブな信頼基盤が確立されます。

図4：検証可能な機械学習サービス（Verifiable MLaaS）におけるzkPyTorchの適用シナリオ。

モデル評価のためのセキュアなエスコート

zkPyTorchは、セキュアで検証可能なAIモデル評価メカニズムを提供し、関係者がモデルの詳細を公開することなく、その主要業績評価指標を慎重に評価できるようにします。この「ゼロリーク」評価方法は、AIモデルの新たな信頼基準を確立するとともに、商取引の効率を向上させ、開発者の知的財産のセキュリティを保護します。モデル価値の可視性を向上させるだけでなく、AI業界全体に高い透明性と公平性をもたらします。

EXPchainブロックチェーンとの緊密な統合

zkPyTorchは、Polyhedra Networkが独自に開発したEXPchainブロックチェーンネットワークをネイティブに統合し、信頼性の高い分散型AIインフラストラクチャを共同で構築します。この統合により、スマートコントラクトの呼び出しとオンチェーン検証のための高度に最適化されたパスが提供され、AI推論結果を暗号的に検証し、ブロックチェーン上に永続的に保存できるようになります。

zkPyTorchとEXPchainの連携により、開発者はモデルの展開、推論計算からオンチェーン検証まで、エンドツーエンドの検証可能なAIアプリケーションを構築し、透明性、信頼性、監査性に優れたAIコンピューティングプロセスを真に実現し、次世代のブロックチェーン+ AIアプリケーションの基盤となるサポートを提供できます。

今後のロードマップと継続的なイノベーション

Polyhedraは、以下の方向性に重点を置き、zkPyTorchの進化を推進していきます。

オープンソースとコミュニティの共同構築

zkPyTorchのコアコンポーネントを徐々にオープンソース化し、世界中の開発者の参加を促し、ゼロ知識機械学習の分野での共同イノベーションとエコロジカルな繁栄を促進します。

モデルとフレームワークの互換性の拡大

主流の機械学習モデルとフレームワークのサポート範囲を拡大し、zkPyTorch の適応性と汎用性をさらに向上させ、さまざまな AI ワークフローに柔軟に組み込むことができるようにします。

開発ツールと SDK の構築

包括的な開発ツール チェーンとソフトウェア開発キット (SDK) を導入して、統合プロセスを簡素化し、実際のビジネス シナリオでの zkPyTorch の展開と適用を加速します。

まとめ

zkPyTorch は、信頼できる AI の未来への道のりで重要なマイルストーンです。成熟したPyTorchフレームワークと最先端のゼロ知識証明技術を深く統合することで、zkPyTorchは機械学習のセキュリティと検証可能性を大幅に向上させるだけでなく、AIアプリケーションの導入方法と信頼境界を再構築します。

Polyhedraは、「セキュアAI」の分野で革新を続け、プライバシー保護、結果検証、モデルコンプライアンスにおいて機械学習をより高い水準に推進し、透明性、信頼性、拡張性に優れたインテリジェントシステムの構築を支援します。

ぜひ最新の進捗状況にご注目いただき、zkPyTorchがセキュアインテリジェンス時代の未来をどのように変革していくのかを目の当たりにしてください。

この記事は寄稿によるものであり、BlockBeatsの見解を代表するものではありません。

BlockBeats の公式コミュニティに参加しよう：

Telegram 公式チャンネル：https://t.me/theblockbeats

Telegram 交流グループ：https://t.me/BlockBeats_App

Twitter 公式アカウント：https://twitter.com/BlockBeatsAsia