Original Title: "IOSG Weekly Brief | From Compute to Cognition: Reinforcement Learning-Driven Decentralized AI Investment Map"

Original Author: Jacob Zhao, IOSG Ventures

Artificial Intelligence is evolving from a primarily "Pattern Fitting" based statistical learning approach to a core capability system based on "Structured Reasoning," with the importance of Post-training rapidly increasing. The emergence of DeepSeek-R1 marks a paradigm-level shift of Reinforcement Learning in the era of large models, and the industry has reached a consensus: pre-training builds the general-purpose capability foundation of models, and reinforcement learning has been proven to not only be a tool for value alignment but also to systematically improve the quality of reasoning chains and the capability for complex decision-making, gradually evolving into a technical path for continuously enhancing intelligence.

Meanwhile, Web3 is restructuring the production relationship of AI through a decentralized compute network and a cryptographic incentive system, and the structural requirements of reinforcement learning for rollout sampling, reward signals, and verifiable training naturally align with blockchain's collaborative compute, incentive distribution, and verifiable execution. This research report will systematically deconstruct the AI training paradigm and reinforcement learning technical principles, demonstrate the structural advantages of Reinforcement Learning × Web3, and analyze projects such as Prime Intellect, Gensyn, Nous Research, Gradient, Grail, and Fraction AI.

Three Stages of AI Training: Pre-training, Instruction Fine-tuning, and Post-training Alignment

The typical life cycle of modern Large Language Model (LLM) training is usually divided into three core stages: Pre-training, Supervised Fine-tuning (SFT), and Post-training/RL. Each of them assumes the functions of "building a world model," "injecting task-specific capability," and "shaping reasoning and values," with their computational structure, data requirements, and validation difficulties determining the degree of decentralization match.

· Pre-training utilizes large-scale self-supervised learning to build the language statistical structure and cross-modal world model of the model, laying the foundation for the LLM's capabilities. This stage requires training on a trillion-scale corpus in a globally synchronized manner, relying on thousands to tens of thousands of H100 homogeneous clusters, with costs accounting for 80–95%, extremely sensitive to bandwidth and data rights, hence must be completed in a highly centralized environment.

· 監督微調（Supervised Fine-tuning） は、タスク能力と命令形式を注入するために使用され、データ量は少なく、コストの割合は約 5–15%です。微調整は、フルファインチューニングまたは効率的なパラメータ微調整（PEFT）メソッドのいずれかが適用され、LoRA、Q-LoRA、およびアダプターが一般的です。しかし、依然として分散学習の潜在能力は限られています。

· 事後トレーニング（Post-training） は、複数のイテレーション段階で構成され、モデルの推論能力、価値観、および安全境界を決定します。この手法は、強化学習フレームワーク（RLHF、RLAIF、GRPO）および非 RL の好み最適化方法（DPO）を含むプロセスリワードモデル（PRM）などがあります。この段階のデータ量とコストは比較的低く（5–10%）集中的にRolloutとポリシーアップデートに焦点を当てています。天然支持の非同期および分散実行を特徴とし、ノードは完全な重みを保持する必要がなく、検証可能な計算とオンチェーンインセンティブを組み合わせることで、オープンで分散化されたトレーニングネットワークを形成でき、Web3に最適化されたトレーニングプロセスが提供されます。

強化学習技術全景：アーキテクチャ、フレームワーク、およびアプリケーション

強化学習のシステムアーキテクチャとコア要素

強化学習（Reinforcement Learning, RL）は、「環境との相互作用—報酬フィードバック—ポリシーアップデート」によってモデルの自律的な意思決定能力を促進し、その中核構造は状態、行動、報酬、ポリシーからなるフィードバックループと見なすことができます。完全なRLシステムは通常、ポリシー（方針）、Rollout（経験サンプリング）、およびLearner（ポリシーアップデータ）の3種類のコンポーネントを含みます。ポリシーと環境の相互作用により軌跡が生成され、Learnerは報酬信号に基づいてポリシーを更新し、持続的なイテレーションと継続的な最適化の学習プロセスが形成されます：

1. ポリシーネットワーク（Policy）：環境の状態から行動を生成し、システムの意思決定の中心です。トレーニング時には中央集権的なバックプロパゲーションが必要ですが、推論時には異なるノードに分散して並列実行できます。

2. ロールアウト（Rollout）：ノードはポリシーに従って環境とやり取りし、状態-アクション-報酬などの軌跡を生成します。このプロセスは高度に並列化され、通信が非常に少なく、ハードウェアの違いには敏感ではなく、分散型環境で拡張するのに最適です。

3. 学習器（Learner）：すべてのロールアウト軌跡を集約してポリシーグラデーションの更新を実行するモジュールであり、計算リソースおよび帯域幅要件が最も高いため、通常、収束の安定性を確保するために中心集権化または軽度中心化展開が維持されます。

強化学習段階フレームワーク（RLHF → RLAIF → PRM → GRPO）

強化学習は通常、次の5つの段階に分けられ、全体のプロセスは以下のようになります：

データ生成段階（方針の探索）

特定の入力プロンプトを元に、方策モデル πθ は複数の候補推論チェーンまたは完全な軌跡を生成し、後続の好み評価および報酬モデリングのサンプル基盤を提供し、方針探索の幅を決定します。

好みフィードバック段階（RLHF / RLAIF）

・ RLHF（人間フィードバックからの強化学習）は、多数の候補回答、人間の好みのタグ付け、トレーニング報酬モデル（RM）およびPPOを使用して方策を最適化し、モデルの出力を人間の値により適合させるためのキーモジュールです。これは、GPT-3.5 → GPT-4 のキーコンポーネントです。

・ RLAIF（AIフィードバックからの強化学習）は、AI判定者または憲法的な規則が人のタグ付けを代替し、好み取得を自動化し、コストを大幅に削減し、スケーラビリティを持たせることができる特性を持っており、Anthropic、OpenAI、DeepSeekなどの主要な整合パラダイムとなっています。

報酬モデリング段階（Reward Modeling）

好みを入力として報酬モデルを教え、出力を報酬にマッピングする学習が行われます。RMはモデルに「正しい答え」を教え、PRMはモデルに「正しい推論方法」を教えます。

· RM（Reward Model）: 答えの品質を評価するために使用され、出力のみを評価します。

· PRM（Process Reward Model）: 最終的な答えだけでなく、推論の各ステップ、各トークン、各論理セグメントにスコアを付けるようになりました。これは OpenAI o1 と DeepSeek-R1 の鍵となる技術であり、基本的には「モデルに考え方を教える」ものです。

RLVR（Reward Verifiability）

報酬信号の生成と使用の過程で、「検証可能な制約」を導入し、報酬が再現可能な規則、事実、またはコンセンサスから来るようにし、そうすることで報酬ハッキングとバイアスリスクを最小化し、オープンな環境での可視性と拡張性を向上させます。

ポリシー最適化

報酬モデルからのシグナルに従ってポリシーパラメータθを更新し、より強力な推論能力、高いセキュリティ、安定した行動パターンを持つポリシーピータベースを取得します。一般的な最適化方法は次のとおりです:

· PPO（Proximal Policy Optimization）: RLHFの伝統的な最適化アルゴリズムで、安定性を重視していますが、複雑な推論タスクではしばしば収束が遅く、安定性に欠けるという制限があります。

· GRPO（Group Relative Policy Optimization）: DeepSeek-R1の主要な革新であり、候補回答グループ内のアドバンテージ分布をモデリングして期待値を推定するため、単純な順位付けではない方法です。この手法は報酬の範囲情報を保持しており、推論チェーンの最適化に適しています。トレーニングプロセスがより安定し、PPOに続く、深い推論シナリオ向けの重要な強化学習最適化フレームワークと見なされています。

· DPO（Direct Preference Optimization）: 強化学習ではない事後トレーニング方法で、トラジェクトリを生成せず、報酬モデルを構築せず、直接好みに最適化され、コストが低く、効果が安定しており、Llama、Gemmaなどのオープンソースモデルの整合性向上に広く使用されていますが、推論能力は向上しません。

新戦略展開段階（New Policy Deployment）

最適化されたモデルのパフォーマンスは、より強力な推論チェーン生成能力（System-2 Reasoning）、人間または AI の好みにより適合した行動、より低い錯覚率、より高いセキュリティ性能が得られます。モデルは継続的な反復の中で好みを学習し、プロセスを最適化し、意思決定の品質を向上させ、閉ループを形成します。

強化学習の産業応用の5つの主要分類

強化学習（Reinforcement Learning）は、初期のゲームインテリジェンスから産業横断的な自律意思決定の中核フレームワークに進化し、技術の成熟度と産業への展開度に基づいて、5つのカテゴリに分類され、それぞれの分野で重要なブレークスルーを達成しています。

・ ゲーム＆ストラテジー（Game & Strategy）：RL が最初に検証された方向で、AlphaGo、AlphaZero、AlphaStar、OpenAI Fiveなどの「完全情報＋明示的報酬」の環境で、RLは人間の専門家に匹敵する決定インテリジェンスを示し、現代のRLアルゴリズムの基礎を築きました。

・ ロボットと具現知能（Embodied AI）：RL は連続制御、ダイナミクスモデリング、環境とのインタラクションを通じて、ロボットが操作、運動制御、クロスモーダルタスク（例：RT-2、RT-X）を学習し、現実世界のロボット展開に向けた鍵となる技術路線に急速に進化しています。

・ デジタル推論（Digital Reasoning / LLM System-2）：RL + PRM は大規模モデルを「言語模倣」から「構造化推論」に推進し、DeepSeek-R1、OpenAI o1/o3、Anthropic Claude、AlphaGeometryなどの成果を生み出しました。これは、報酬最適化が推論チェーンのレベルで行われるものであり、単に最終的な回答を評価するだけでないという点にあります。

・ 科学的発見の自動化と数学最適化（Scientific Discovery）：RL はラベルなし、複雑な報酬、巨大な探索空間で最適な構造や戦略を見つけ出し、AlphaTensor、AlphaDev、Fusion RLなどの基本的なブレークスルーを達成し、人間の直観を超える探索能力を示しています。

· 経済判断と取引システム（Economic Decision-making & Trading）：RL は戦略の最適化、高次元リスク管理、および適応型取引システムの生成に使用されており、従来の量子化モデルよりも不確実な環境で継続的な学習が可能です。これはスマートファイナンスの重要な構成要素です。

強化学習と Web3 の自然なマッチング

強化学習（RL）と Web3 は非常によくマッチし、両者は本質的に「インセンティブ駆動システム」であるためです。強化学習は報酬信号に基づいて戦略を最適化し、ブロックチェーンは経済的インセンティブによって参加者の行動を調整するため、両者は機構レベルで自然な一致を示しています。RL の中心的ニーズである大規模な非均質ロールアウト、報酬の分配、および真実性の検証は、Web3 の構造的利点に正確にマッチしています。

リーズニングとトレーニングの分離

強化学習のトレーニングプロセスは明確に2つの段階に分割できます：

· ロールアウト（探索サンプリング）：モデルは現在の戦略に基づいて大量のデータを生成しますが、これは計算集約型であり通信疎結合型のタスクです。ノード間の頻繁な通信は必要とせず、世界中の消費者向け GPU 上で並列に生成するのに適しています。

· アップデート（パラメータ更新）：収集されたデータに基づいてモデルの重みを更新しますが、これには高帯域幅の中央集権化ノードが必要です。

「リーズニング—トレーニングの分離」は、分散型非同質計算力構造に自然に適合しています：ロールアウトはオープンネットワークに外部委託され、貢献に応じてトークンメカニズムで決済されますが、モデルの更新は安定性を保つために集中化されています。

検証可能性（Verifiability）

ZK と Proof-of-Learning は、推論が実際に実行されているかどうかを検証する手段を提供し、オープンネットワーク内での誠実性の問題を解決します。コード、数学的推論などの決定論的タスクでは、検証者は答えを確認するだけで作業量を確認でき、分散型の強化学習システムの信頼性が大幅に向上します。

インセンティブレイヤー、トークン経済に基づいたフィードバック生産メカニズム

Web3 のトークンメカニズムは、RLHF/RLAIF の好みフィードバック貢献者を直接報酬し、フィードバックデータの生成を透明、計算可能、許可不要のインセンティブ構造とします。ステーキングとスラッシングによりフィードバックの品質が制約され、従来のクラウドソーシングよりも効率的で整合されたフィードバックマーケットが形成されます。

Multi-Agent Reinforcement Learning (MARL) Potential

Blockchain is fundamentally an open, transparent, and constantly evolving multi-agent environment where accounts, contracts, and agents continuously adjust their strategies under incentives, inherently possessing the potential to build a large-scale MARL experimental field. Although still in its early stages, its characteristics of public state, verifiable execution, and programmable incentives provide a principled advantage for the future development of MARL.

Classic Web3 + Reinforcement Learning Project Analysis

Based on the above theoretical framework, we will briefly analyze the most representative projects in the current ecosystem:

Prime Intellect: Asynchronous Reinforcement Learning Paradigm prime-rl

Prime Intellect is dedicated to building a global open compute market, lowering training barriers, promoting collaborative decentralized training, and developing a full open-source superintelligence technology stack. Its system includes: Prime Compute (unified cloud/distributed computing environment), INTELLECT model family (10B–100B+), Open Reinforcement Learning Environment Hub, and large-scale synthetic data engines (SYNTHETIC-1/2).

Prime Intellect's core infrastructure component, the prime-rl framework, is specifically designed for asynchronous distributed environments and highly relevant to reinforcement learning. Other components include the bandwidth-breaking OpenDiLoCo communication protocol, and the computation integrity-assuring TopLoc validation mechanism.

Overview of Prime Intellect Core Infrastructure Components

Technical Foundation: prime-rl Asynchronous Reinforcement Learning Framework

prime-rl is the core training engine of Prime Intellect, specifically designed for large-scale asynchronous decentralized environments, achieving high-throughput inference and stable updates through full Actor–Learner decoupling. The Rollout Worker and Trainer no longer block synchronously, and nodes can join or leave at any time, simply needing to continuously fetch the latest policy and upload generated data:

· 実行者 Actor（ロールアウトワーカー）：モデル推論およびデータ生成を担当します。Prime Intellect は、Actor エンドに vLLM 推論エンジンを統合しました。vLLM の PagedAttention 技術と連続バッチ処理（Continuous Batching）の能力により、Actor は非常に高いスループットで推論トレースを生成できます。

· 学習者 Learner（トレーナー）：ポリシーの最適化を担当します。Learner は共有の経験再生バッファからデータを非同期に取得し、勾配更新を行います。すべての Actor が現在のバッチを完了するのを待つ必要はありません。

· オーケストレーター（Orchestrator）：モデルの重みとデータフローをスケジュールします。

prime-rl の主要なイノベーションポイント

· 完全非同期（True Asynchrony）：prime-rl は従来の PPO の同期パラダイムを捨て、遅いノードを待つ必要がなく、バッチの整列も必要としません。これにより、任意の数のパフォーマンスの良い GPU がいつでも参加できるようになり、分散型 RL の実現が確立されました。

· FSDP2 と MoE の深い統合：FSDP2 パラメーターシリスと MoE スパースアクティベーションを介して、prime-rl は数百億規模のモデルを分散環境で効率的にトレーニングできるようにしました。Actor はアクティブな専門家のみを実行し、メモリ使用量と推論コストを大幅に削減しています。

· GRPO+（Group Relative Policy Optimization）：GRPO は Critic ネットワークを不要とし、計算とメモリのオーバーヘッドを大幅に削減し、非同期環境に自然に適合します。prime-rl の GRPO+ は、適切な収束を確保する安定化メカニズムを介して、高遅延条件下での信頼性の高い収束を実現しています。

INTELLECT モデルファミリー：分散型 RL テクノロジーの成熟度の指標

INTELLECT-1（10B、2024 年 10 月）は、初めて OpenDiLoCo が異種ネットワークを横断して効率的にトレーニングできることを証明しました（通信割合 <2%、計算リソース利用率 98%）、地域間トレーニングの物理的な認識を打破しました。

INTELLECT-2（32B、2025年4月）は、最初のPermissionless RLモデルとして、prime-rlとGRPO+の安定した収束性能を多段遅延、非同期環境で検証し、グローバルなオープンな算力参加を実現した分散型RLです。

INTELLECT-3（106B MoE、2025年11月）は、わずか12Bのパラメーターをアクティブ化するスパースアーキテクチャを採用し、512×H200でトレーニングを行い、フラッグシップの推論パフォーマンス（AIME 90.8％、GPQA 74.4％、MMLU-Pro 81.9％など）を達成しました。総合的なパフォーマンスは、自己よりもはるかに大きな中央集権的なクローズドソースモデルに肉迫する、あるいはそれを上回っています。

Prime Intellectはさらに、いくつかのサポートインフラを構築しました：OpenDiLoCoは、時間希薄通信と重み量子化差を使用して、地理的に分散されたトレーニングの通信量を数百分減少させ、INTELLECT-1が3つの大陸にまたがるネットワークででも98%の利用率を維持しています。TopLoc + Verifiersは分散型の信頼実行レイヤーを形成し、指紋とサンドボックス検証によって推論と報酬データの信頼性を確保します。SYNTHETICデータエンジンは、大規模な高品質の推論チェーンを生成し、パイプライン並列処理により、671Bモデルをコンシューマ向けGPUクラスター上で効率的に実行します。これらのコンポーネントは、分散型RLのデータ生成、検証、および推論スループットに対する重要なエンジニアリングベースを提供しています。INTELLECTシリーズは、このテックスタックが成熟した世界クラスのモデルを生み出すことができることを証明し、分散型トレーニングシステムが概念段階から実用段階に進んだことを象徴しています。

Gensyn：強化学習コアスタックRL SwarmとSAPO

Gensynの目標は、世界中のアイドルアルゴリズムを集約し、オープンで信頼不要、無限にスケーラブルなAIトレーニングインフラを構築することです。その中心にはデバイス間標準化実行レイヤー、P2P協調ネットワークと信頼不要のタスク検証システムがあり、スマートコントラクトを使用してタスクと報酬を自動的に割り当てます。強化学習を中心に、GensynはRL Swarm、SAPO、SkipPipeなどのコア機構を導入し、生成、評価、更新の3つの段階を分離し、グローバルな異種GPUで構成された「スワーム」を利用して集団進化を実現します。最終的に提供されるのは、単なる計算力ではなく、検証可能な知能（Verifiable Intelligence）です。

Gensyn スタックの強化学習アプリケーション

RL Swarm: 分散型協調強化学習エンジン

RL Swarm は新しい協調パターンを示しています。これは単なるタスク割り当てではなく、人間の社会的学習を模倣した分散型の「生成—評価—更新」サイクルであり、協調学習プロセスに類似した無限ループです：

· ソルバー（実行者）： ローカルモデル推論およびロールアウト生成に責任があり、ノードの異質性に影響されません。Gensyn は高スループット推論エンジン（CodeZero など）をローカルに統合しており、回答だけでなく完全なトラジェクトリを出力できます。

· プロポーザー（出題者）： タスク（数学問題、コード問題など）をダイナミックに生成し、タスクの多様性とカリキュラム学習による難易度の適応をサポートします。

· イバリュエーター（評価者）： 凍結された「審判モデル」またはルールを使用して、ローカルロールアウトを評価し、ローカル報酬シグナルを生成します。評価プロセスは監査可能であり、悪意のある行動を減らします。

これらの要素は、P2P の RL 組織構造を構成し、大規模な協調学習を中央集権的なスケジューリングなしで完了できます。

SAPO: 分散型再構築ポリシーオプティマイゼーションアルゴリズム

SAPO（Swarm Sampling Policy Optimization）は、「共有ロールアウトおよび勾配のない信号サンプルのフィルタリング、勾配の共有ではない」を中心に、大規模な分散型ロールアウトのサンプリングを行い、受信したロールアウトをローカル生成として扱い、中央集権的な調整やノードの遅延の差にもかかわらず安定した収束を維持します。Critic ネットワークに依存した、計算コストの高い PPO またはグループ内アドバンテージ推定に基づく GRPO に比べて、SAPO は非常に低帯域幅で、消費者向け GPU も大規模な強化学習最適化に効果的に参加できます。

RL Swarm と SAPO を通じて、Gensyn は強化学習（特に後段の RLVR）が分散型アーキテクチャに自然に適合することを証明しました。なぜなら、それは高スループット、多様性のある探索（ロールアウト）に依存し、高頻度のパラメータ同期ではないからです。PoL と Verde の検証システムを組み合わせることで、Gensyn は単一のテクノロジー巨大企業に頼らない、自己進化型の数百万の異種GPUからなる、1兆パラメータモデルのトレーニングに新たな道を提供しています。

Nous Research：検証可能な強化学習環境 Atropos

Nous Research は分散化および自己進化型の認知インフラを構築しています。その中核をなすHermes、Atropos、DisTrO、Psyche、World Simは、持続的な閉ループ型の知的進化システムとして構築されています。従来の「事前トレーニング—事後トレーニング—推論」の直線的なフローとは異なり、NousはDPO、GRPO、拒否サンプリングなどの強化学習技術を採用し、データ生成、検証、学習、推論を連続的なフィードバックループとして統合し、持続的な自己改善のクローズドループAIエコシステムを構築しています。

Nous Research コンポーネント概要

モデル層：Hermes および推論能力の進化

Hermesシリーズは、Nous Researchの主要ユーザーモデルインターフェースであり、その進化は、産業が従来のSFT/DPOアライメントから推論強化学習（Reasoning RL）への移行を示しています：

· Hermes 1–3：指示アライメントおよび初期エージェント能力：Hermes 1–3 は、低コストのDPOを活用して堅実な指示アライメントを達成し、Hermes 3では合成データと初めて導入されたAtropos検証機構に依存しています。

· Hermes 4 / DeepHermes：システム2型の緩やかな思考を重み付けし、Test-Time Scalingによって数学とコードのパフォーマンスを向上させ、高純度な推論データを構築するために「拒否サンプリング+Atropos検証」に依存しています。

· DeepHermesはさらに、分散展開が難しいPPOの代わりにGRPOを採用し、推論強化学習がPsyche分散GPUネットワーク上で実行されるようにし、オープンソースの推論強化学習のスケーラビリティを確立しました。

Atropos：検証可能な報酬駆動型強化学習環境

Atroposは、Nous RLエコシステムの真の要であり、提示、ツール呼び出し、コード実行、マルチラウンドインタラクションを標準化されたRL環境にカプセル化し、出力が正しいかどうかを直接検証し、結果として確実な報酬シグナルを提供し、高コストでスケーラブルでない人間の注釈を代替します。さらに重要なことは、分散トレーニングネットワークPsyche内でAtroposが「審判」として機能し、ノードが本当にポリシーを向上させているかどうかを検証し、オーディタブルなProof-of-Learningをサポートし、分散型RLにおける報酬の信頼性の問題を根本的に解決しています。

DisTrO と Psyche: 分散強化学習のオプティマイザーレイヤー

従来の RLF（RLHF/RLAIF）トレーニングは、中央集権型の高帯域幅クラスターに依存しており、これはオープンソースで複製できないコアの障壁です。DisTrO は、モーメンタムのデカップリングと勾配圧縮により、RLの通信コストを数桁削減し、トレーニングをインターネット帯域幅で実行できるようにします。また、Psyche は、このトレーニングメカニズムをチェーン上のネットワークに展開し、ノードがローカルで推論、検証、報酬評価、およびウェイト更新を完了できるようにし、完全なRLループを形成します。

在 Nous のエコシステムでは、Atropos が思考チェーンを検証し、DisTrO がトレーニング通信を圧縮し、Psyche がRLループを実行し、World Sim が複雑な環境を提供し、Forge がリアル推論を収集し、Hermes がすべての学習をウェイトに書き込みます。強化学習はトレーニング段階だけでなく、Nousアーキテクチャ内で、データ、環境、モデル、およびインフラとのコアプロトコルを接続することで、Hermesをオープンソースコンピューティングネットワーク上で持続的に自己進化させることができる活動的システムになります。

Gradient Network: 強化学習アーキテクチャEcho

Gradient Networkの中心的なビジョンは、「オープン・インテリジェンス・スタック」（Open Intelligence Stack）を通じてAIの計算パラダイムを再構築することです。Gradientのテクノロジースタックは、独立して進化し、異種の協調したコアプロトコルから構成されています。そのエコシステムは、底層の通信から上層の知能協業まで、Parallax（分散推論）、Echo（分散強化学習トレーニング）、Lattica（P2Pネットワーク）、SEDM/Massgen/Symphony/CUAHarm（メモリ、協業、セキュリティ）、VeriLLM（信頼性検証）、Mirage（ハイファイシミュレーション）を含む、持続的進化を遂げる分散型インテリジェントインフラストラクチャを構成しています。

Echo—強化学習トレーニングアーキテクチャ

Echo はGradientの強化学習フレームワークであり、その中心的な設計思想は、強化学習のトレーニング、推論、データ（報酬）パスを分離し、Rollout生成、ポリシーオプティマイゼーション、報酬評価を異種環境で独立してスケーリングおよびスケジューリングできるようにすることです。推論側とトレーニング側のノードで構成される異種ネットワーク内で協力して実行され、軽量な同期メカニズムによって広域異種環境でトレーニングの安定性を維持し、従来のDeepSpeed RLHF/VERLの推論とトレーニングが混在することによるSPMDの故障やGPU利用率のボトルネックを効果的に緩和します。

Echo は、算力の最大活用を実現するために、「推論–トレーニング ダブルスワーム アーキテクチャ」を採用しており、各スワームは独立して実行され、互いにブロッキングされません：

· サンプリングスループットの最大化：推論スワーム は、消費者向け GPU とエッジデバイスから構成され、パイプライン並列処理を使用して高スループットサンプラーを構築し、軌道生成に焦点を当てています；

· 勾配計算力の最大化：トレーニングスワーム は、中央集権型クラスターまたはグローバルな消費者向け GPU ネットワークで実行できるようになっており、勾配の更新、パラメータの同期、LoRA ファインチューニングに責任を持ち、学習プロセスに焦点を当てています。

ポリシーとデータの整合性を維持するために、Echo は、シーケンシャル（Sequential）と非同期（Asynchronous）の2種類の軽量同期プロトコルを提供し、ポリシーウェイトとトラジェクトリの双方向整合性管理を実現しています：

· プル（Pull）モードによるシーケンシャル取得｜精度優先 ：トレーニング側は、新しいトラジェクトリを取得する前に、推論ノードにモデルバージョンのリフレッシュを強制し、トラジェクトリの新鮮さを確保します。古いポリシーに敏感なタスクに適しています；

· プッシュ–プル（Push–Pull）モードによる非同期取得｜効率優先：推論側は、バージョン付きトラジェクトリを継続的に生成し、トレーニング側は独自のペースで処理し、コーディネータはバージョンのずれを監視し、ウェイトリフレッシュをトリガーして、デバイスの活用を最大化します。

低レイテンシ推論（Parallax）と軽量分散トレーニングコンポーネント（VERL など）に基づいて構築された Echo は、LoRA に依存してクロスノード同期コストを低減し、強化学習をグローバルな異種ネットワーク上で安定して実行できるようにしています。

Grail：Bittensor 生態系の強化学習

Bittensor は、その独自の Yuma コンセンサスメカニズムにより、巨大で、疎で、非定常な報酬関数ネットワークを構築しています。

Bittensor 生態系の Covenant AI は、SN3 Templar、SN39 Basilica、SN81 Grail を介して、事前トレーニングから RL 後トレーニングまでの垂直一体化パイプラインを構築しています。ここで、SN3 Templar は基本モデルの事前トレーニングを担当し、SN39 Basilica は分散された算力マーケットを提供し、SN81 Grail は RL 後トレーニングに焦点を当てた「検証可能推論レイヤー」として機能し、RLHF / RLAIF のコアプロセスを受け持ち、基本モデルから方針アライメントまでのクローズドループ最適化を完了します。

GRAIL の目標は、各強化学習 rollout の真正性とモデルのアイデンティティを暗号化して証明することであり、RLHF が信頼性の必要ない環境で安全に実行されることを保証します。このプロトコルは、信頼できるチェーンを確立するための3つのレイヤー構造を介して行われます：

1. 決定論的チャレンジの生成：drand のランダムビーコンとブロックハッシュを使用して予測不可能で再現可能なチャレンジタスク（例：SAT、GSM8K）を生成し、事前計算による不正行為を防ぎます；

2. PRF インデックスサンプリングおよびスケッチコミットメントを介した、検証者がトークンレベルの対数尤度と推論チェーンを非常に低コストでサンプリングし、rollout が宣言されたモデルによって生成されたことを確認します；

3. モデルのアイデンティティの紐づけ：推論プロセスをモデルの重みの指紋およびトークン分布の構造的署名に紐づけることで、モデルの置換や結果のリプレイがすぐに識別されることを保証します。これにより、RL 中の推論トレース（rollout）に真正性の基盤が提供されます。

このメカニズムに基づいて、Grail サブネットは、GRPO スタイルの検証可能なトレーニング後フローを実現しました：マイナーは同じ課題に対して複数の推論パスを生成し、検証者は正確性、推論チェーンの品質、SAT の達成度スコアに基づいて、正規化された結果をブロックチェーンに書き込み、TAO 重みとして使用します。公開実験では、このフレームワークが Qwen2.5-1.5B の MATH 精度を12.7% から47.6% に向上させたことが示され、それが不正行為を防ぐだけでなく、モデルの能力を著しく向上させることが証明されました。Covenant AI のトレーニングスタックでは、Grail は分散型 RLVR/RLAIF の信頼と実行の礎石であり、現時点では本番環境への展開はまだ行われていません。

Fraction AI：競争に基づく強化学習 RLFC

Fraction AI のアーキテクチャは、競争に基づく強化学習（Reinforcement Learning from Competition、RLFC）およびゲーミフィケーションされたデータラベリングに焦点を当てて構築されており、従来の RLHF の静的報酬と人工ラベル付けを開かれた、動的な競争環境に置き換えています。エージェントは異なるスペースで対戦し、その相対的なランキングとAI 判定のスコアがリアルタイムの報酬を構成し、アラインメントプロセスが継続的なオンラインのマルチエージェントゲームシステムに進化します。

伝統的な RLHF と Fraction AI の RLFC の間の中核的な違い：

RLFC の中核的な価値 は、報酬が単一のモデルからではなく、進化し続ける対戦相手と評価者から来る点にあり、報酬モデルが悪用されるのを防ぎ、ポリシーの多様性によってエコシステムが局所的最適に陥らないようにする。Spaces の構造はゲームの性質（ゼロサムまたはプラスサム）を決定し、対決と協力の中で複雑な行動を促進する。

システムアーキテクチャでは、Fraction AI はトレーニングプロセスを 4 つの主要コンポーネントに分解しています：

・ エージェント：オープンソースの LLM に基づく軽量ポリシーユニットで、QLoRA を使って差分重みを拡張し、低コストで更新；

・ Spaces：分離されたタスク領域環境で、エージェントが報酬を得るために入場料を支払い、勝敗を受け取る；

・ AI Judges：RLAIF で構築されたリアルタイム報酬レイヤーで、拡張可能で分散化された評価を提供；

・ Proof-of-Learning：ポリシーの更新を特定の競技結果にバインドし、トレーニングプロセスが検証可能でチート防止されるようにする。

Fraction AI の本質は、「人間と機械の共進化エンジン」を構築しています。ユーザーはポリシーレイヤーの「メタ最適化者」として、プロンプトエンジニアリングとハイパーパラメータ構成を通じて探索方向を導きます；一方、エージェントはマイクロな競争で大量の高品質の選好データペアを自動生成します。このモデルにより、データのアノテーションが「信頼性のないファインチューニング」によって事業のサイクルを実現します。

強化学習 Web3 プロジェクトのアーキテクチャ比較

まとめと展望：強化学習 × Web3 の道筋と機会

上記の先鋭的プロジェクトの分解分析に基づいて、強化学習（RL）と Web3 を組み合わせる際、各チームのアプローチポイント（アルゴリズム、エンジニアリング、または市場）が異なるものの、その基本的なアーキテクチャロジックは高度に一貫した「デカップリング-検証-インセンティブ」のパラダイムに収束します。これは技術的な偶然にとどまらず、分散型ネットワークが強化学習の固有の属性に適合する必然的結果です。

強化学習の一般的なアーキテクチャの特徴: 核心的な物理的制約と信頼の問題への対処

1. ロールアウトと学習の分離 (Decoupling of Rollouts & Learning)——デフォルトの計算トポロジー

通信がまばらで並列処理可能なロールアウトは、グローバルなコンシューマ向けGPUに外部委託され、高帯域幅のパラメータ更新は少数のトレーニングノードに集中し、プライム・インテレクトの非同期アクター・ラーナーからグラディエント・エコーのデュアルクラスターアーキテクチャまでこれが当てはまります。

2. 検証駆動型信頼層 (Verification-Driven Trust)——インフラ化

許可なしのネットワークでは、計算の信頼性は数学とメカニズム設計によって強制的に保証されなければなりません。これを実現するためには、ジェンシンのPoL、プライム・インテレクトのTOPLOC、およびグレイルの暗号検証などがあります。

3. トークン化されたインセンティブループ (Tokenized Incentive Loop)——市場の自己調整

計算パワーの供給、データ生成、検証順序、および報酬配分がループを形成し、報酬による参加を促進し、不正行為を抑制するスラッシュによって、ネットワークがオープンな環境で安定性を維持し、持続的に進化するようにします。

差別化された技術経路: 一貫したアーキテクチャ内の異なる「ブレークスルー」

アーキテクチャが類似しているにもかかわらず、各プロジェクトは独自の遺伝子に基づいて異なる技術的競争上の優位性を選択しました:

・ アルゴリズム革命派（Nous Research）：分散トレーニングの根本的な矛盾（帯域幅の制限）を数学の基本から解決しようとしています。そのDisTrOオプティマイザーは、勾配通信量を数千倍に圧縮することを目指しており、家庭用ブロードバンドでも大規模なモデルトレーニングを実行できるようにすることを目指しています。これは物理的制約への「次元削減攻撃」です。

・ システムエンジニアリング派（プライム・インテレクト、ジェンシン、グラディエント）：次世代の「AIランタイムシステム」の構築に重点を置いています。プライム・インテレクトのShardCastとグラディエントのParallaxは、既存のネットワーク環境で、極端なエンジニアリング手法によって最高のヘテロジニアスクラスター効率を引き出すために設計されています。

· マーケットディフェンス（Bittensor、Fraction AI）：報酬関数の設計に焦点を当てています。巧妙なスコアリングメカニズムを設計することで、マイナーが最適な戦略を自発的に見つけるように誘導し、インテリジェントなエマージェンスを加速します。

利点、課題、および最終展望

強化学習とWeb3の融合パラダイムにおけるシステムレベルの利点は、まずコスト構造とガバナンス構造の書き換えに表れます。

· コストの再構築：RL後トレーニングはサンプリングへのニーズが無限ですが、Web3は非常に低コストでグローバルなロングテールの計算力を活用できるため、これは中央集権化されたクラウドプロバイダーが追随できないコスト優位性です。

· 主権アラインメント（主権対応）：巨大企業によるAIの価値観（アラインメント）の独占を打破し、コミュニティはトークン投票によってモデルが「良い回答とは何か」を決定し、AIガバナンスを民主化します。

同時に、このシステムは2つの主要な構造的制約に直面しています。

· 帯域幅の壁（Bandwidth Wall）：DisTrOなどの革新があるものの、物理的遅延は超大規模パラメータモデル（70B以上）の全体トレーニングを制限しており、現在、Web3 AIは主にファインチューニングと推論に制限されています。

· 報酬ハッキング（Reward Hacking）：高い報酬のネットワークでは、マイナーは報酬ルールに「オーバーフィッティング」しやすく、実際の知能向上ではなくスコアを稼ぐ傾向があります。不正行為防止のための堅固な報酬関数の設計は永遠のゲームです。

· 悪意のあるビザンティン型ワーカー攻撃（BYZANTINE worker）：トレーニング信号を積極的に操作し、モデルの収束を妨げることで破壊する。不正行為防止の報酬関数を継続的に設計することよりも、対抗性のある堅牢なメカニズムを構築することがポイントです。

強化学習とWeb3の結合は、「知能がどのように生み出され、整列され、価値が割り当てられるか」というメカニズムを書き換えることです。その進化経路は、以下の3つの補完的な方向に要約されます：

1. デセントラライズドなプッシュトレーニングネットワーク：計算機パワーマイナーからポリシーネットワークへ、並列かつ検証可能なロールアウトをグローバルなロングテールGPUに外部委託し、短期的には検証可能な推論市場に焦点を当て、中期的にはタスククラスタリングされた強化学習サブネットに進化します；

2. Preference and Incentive Assetization: From Annotation Labor to Data Equity. Achieve the assetization of preferences and rewards, transforming high-quality feedback into a governable and distributable data asset, upgrading from "annotation labor" to "data equity".

3. 'Small is Beautiful' Evolution in Verticals: Nurturing small yet powerful specialized RL Agents in verifiable outcome, quantifiable returns vertical scenarios, such as DeFi strategy execution, code generation, enabling strategy improvement to be directly tied to value capture and potentially outperforming generic closed-source models.

Overall, the real opportunity of Reinforcement Learning × Web3 is not to replicate a decentralized version of OpenAI, but to rewrite the "intelligent production relations": make training execution an open compute market, make rewards and preferences governable on-chain assets, shifting the value brought by intelligence not merely concentrated on platforms, but redistributed among trainers, aligners, and users.

Original Article Link

BlockBeats の公式コミュニティに参加しよう：

Telegram 公式チャンネル：https://t.me/theblockbeats

Telegram 交流グループ：https://t.me/BlockBeats_App

Twitter 公式アカウント：https://twitter.com/BlockBeatsAsia