ブロックチェーンデータインデックス技術の進化:ノードからAIによる全チェーンデータサービスへ

1. はじめに

2017年に最初の去中心化アプリ(dApp)が登場して以来、ブロックチェーンエコシステムは急速に発展し、さまざまなdAppが異なるパブリックチェーン上で多様に展開しています。これらの去中心化アプリについて議論する際、私たちはそれらが使用するさまざまなデータの出所について考えたことがあるでしょうか？

2024年、人工知能とWeb3がホットな話題となります。AI分野において、データはインテリジェントシステムの成長と進化の生命の源です。植物が成長するために太陽光と水分を必要とするように、AIシステムもまた大量のデータを必要とし続けて「学び」、「考える」必要があります。データの支えがなければ、どんなに巧妙なAIアルゴリズムでも、その本来のインテリジェンスと効能を発揮することは難しいです。

この記事では、ブロックチェーンデータのアクセス可能性の観点から、業界の発展過程におけるブロックチェーンデータインデックスの進化の歴史を深く掘り下げ、従来のデータインデックスプロトコルと新興のブロックチェーンデータサービスプロトコルのデータサービスおよび製品アーキテクチャの違いを比較分析し、特にAI技術と組み合わせた新しいプロトコルがもたらす革新に注目します。

2. データインデックスの複雑さと単純さ: ブロックチェーンノードから全チェーンデータベースへ

2.1 データソース:ブロックチェーンノード

ブロックチェーンの本質は、去中心化された分散型台帳です。ブロックチェーンノードは、ネットワーク全体の基盤であり、すべてのチェーン上の取引データを記録、保存、伝播する役割を担っています。各ノードは完全なブロックチェーンデータのコピーを保存し、ネットワークの去中心化特性を維持します。しかし、一般のユーザーにとって、自らブロックチェーンノードを構築し、維持することは容易ではありません。専門的な技術が必要であり、高額なハードウェアや帯域幅のコストにも直面します。同時に、一般のノードのクエリ能力は限られており、開発者のデータ形式に対する要求を満たすのは困難です。したがって、理論的には誰もがノードを運営できるものの、実際にはユーザーは第三者サービスに依存する傾向があります。

この問題を解決するために、RPC(リモートプロシージャコール)ノードプロバイダーが誕生しました。これらのサービスプロバイダーはノードのコストと管理を担い、RPCエンドポイントを通じてユーザーにデータアクセスサービスを提供します。これにより、ユーザーは自分でノードを構築することなく、簡単にブロックチェーンデータにアクセスできます。公共RPCエンドポイントは無料ですが、レート制限があり、dAppのユーザー体験に影響を与える可能性があります。プライベートRPCエンドポイントは性能が優れていますが、複雑なクエリに対しては依然として効率が悪く、スケーラビリティやネットワーク間の互換性も低いです。それにもかかわらず、ノードプロバイダーの標準化されたAPIインターフェースは、ユーザーがチェーン上のデータにアクセスするためのハードルを低くし、後続のデータ解析やアプリケーションの基盤を築くことに貢献しています。

2.2 データ解析:原始データから利用可能なデータへ

ブロックチェーンノードから取得されるデータは通常、暗号化され、エンコードされた原始データです。これらのデータはブロックチェーンの完全性と安全性を保証しますが、データ解析の難易度も増加します。一般のユーザーや開発者にとって、これらの原始データを直接扱うには大量の技術知識と計算リソースが必要です。

このような背景の中で、データ解析プロセスは特に重要になっています。複雑な原始データをより理解しやすく操作しやすい形式に変換することで、ユーザーはこれらのデータをより直感的に利用できます。データ解析の質はブロックチェーンデータアプリケーションの効率と効果に直接影響を与え、データインデックスプロセス全体の重要な部分です。

2.3 データインデクサの進化

ブロックチェーンデータ量の増加に伴い、データインデクサーの需要が高まっています。インデクサーは、チェーン上のデータを整理し、データベースに送信してクエリを実行する上で重要な役割を果たしています。インデクサーの仕組みは、ブロックチェーンデータをインデックスし、SQLに似たクエリ言語(やGraphQL API)を通じてデータをいつでも利用可能にすることです。統一されたデータクエリインターフェースを提供することで、インデクサーは開発者が標準化されたクエリ言語を使用して必要な情報を迅速かつ正確に取得できるようにし、プロセスを大幅に簡素化しています。

異なるタイプのインデクサーは、データ検索を最適化するためにさまざまな方法を採用しています。

1. フルノードインデクサー: 完全なブロックチェーンノードからデータを直接抽出し、データの完全性と正確性を確保しますが、大量のストレージと処理能力が必要です。

2. 軽量インデクサ: 完全ノードに依存して特定のデータをオンデマンドで取得し、ストレージの必要性を減らすが、クエリ時間が増加する可能性がある。

3. 専用インデクサー:特定のタイプのデータまたは特定のブロックチェーンに最適化されており、NFTデータまたはDeFi取引などです。

4. アグリゲーター: 複数のブロックチェーンおよびソース(からデータを抽出し、オフチェーン情報)を含む、統一されたクエリインターフェースを提供し、多チェーンdAppに特に有用です。

現在、イーサリアムのアーカイブノードは、異なるクライアントでのストレージ要件が3TBから13.5TBまでの範囲であり、ブロックチェーンの成長に伴い増加し続けています。このような膨大なデータ量に対処するために、主流のインデックスプロトコルは、マルチチェーンインデックスをサポートするだけでなく、異なるアプリケーションのデータ要件に応じてデータ解析フレームワークをカスタマイズしています。

従来のRPCエンドポイントと比較して、インデクサーはデータのインデックス作成とクエリの効率を大幅に向上させました。これらは膨大なデータを効率的にインデックスし、高速で複雑なクエリをサポートし、データのフィルタリングと分析を容易に行うことができます。一部のインデクサーは、複数のブロックチェーンのデータソースを集約することもサポートしており、マルチチェーンdAppが複数のAPIを展開する必要がある問題を回避します。分散型で運用することにより、インデクサーはより強力なセキュリティとパフォーマンスを提供し、集中型RPCプロバイダーがもたらす可能性のある中断リスクを減少させます。

インデクサは、ユーザーが基盤となる複雑なデータを扱うことなく、必要な情報を直接取得できるようにするために、事前定義されたクエリ言語を使用します。このメカニズムは、データ検索の効率と信頼性を大幅に向上させ、ブロックチェーンデータアクセス分野における重要な革新です。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

2.4 全チェーンデータベース:流れ優先にアライン

インデックスノードを使用してデータをクエリすることは、しばしばAPIがオンチェーンデータを処理する唯一のチャネルになることを意味します。しかし、プロジェクトが拡張段階に入ると、通常はより柔軟なデータソースが必要となり、これは標準化APIが提供するのが難しいです。アプリケーションの要求が複雑化するにつれて、初歩的なデータインデクサーとその標準化インデックス形式は、検索、クロスチェーンアクセス、またはオフチェーンデータマッピングなど、ますます多様化するクエリの要件を満たすのが難しくなっています。

現代のデータパイプラインアーキテクチャにおいて、「ストリームファースト」アプローチは、従来のバッチ処理の限界を解決するための一つのソリューションとなり、リアルタイムでのデータ取り込み、処理、分析を実現します。このパラダイムシフトにより、組織は受信データに即座に応答できるようになり、ほぼリアルタイムで洞察を得て意思決定を行うことができます。同様に、ブロックチェーンデータサービスプロバイダーの発展も、ブロックチェーンデータストリームの構築に向かっています。従来のインデクササービスプロバイダーは、データストリーム方式でリアルタイムのブロックチェーンデータを取得する製品を次々と発表しており、データストリームに基づくリアルタイムデータレイクなどがあります。

これらのサービスは、ブロックチェーン取引のリアルタイム解析と、より包括的なクエリ能力を提供するニーズを解決することを目的としています。"フロー優先"アーキテクチャが遅延を低減し、応答能力を強化することで、従来のデータパイプラインにおけるデータ処理と消費方法を革新したように、これらのブロックチェーンデータストリームサービスプロバイダーも、より先進的で成熟したデータソースを通じて、より多くのアプリケーションの発展を支援し、チェーン上のデータ分析を補助することを望んでいます。

オンチェーンデータの課題を現代のデータパイプラインの観点から再定義することで、オンチェーンデータの管理、ストレージ、提供の全ての潜在能力を新しい視点から見ることができます。サブグラフやイーサリアムETLなどのインデクサーを最終出力ではなくデータパイプライン内のデータフローとして捉え始めると、あらゆるビジネスケースに合わせた高性能データセットを提供できる可能性のある世界を想像できます。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

3. AI + データベース? 三大データインデックスプロトコルの詳細比較

3.1 ザ・グラフ

The Graphネットワークは去中心化されたノードネットワークを通じてマルチチェーンデータのインデックスとクエリサービスを実現し、開発者がブロックチェーンデータをインデックスし去中心化アプリケーションを構築することを容易にします。その主な製品モデルにはデータクエリ実行マーケットとデータインデックスキャッシュマーケットが含まれ、実質的にユーザーの製品クエリニーズにサービスを提供します。

サブグラフはThe Graphネットワークにおける基本的なデータ構造であり、ブロックチェーンからデータを抽出し、クエリ可能な形式に変換する方法を定義しています。誰でもサブグラフを作成でき、複数のアプリケーションがこれらのサブグラフを再利用できるため、データの再利用性と使用効率が向上します。

The Graphネットワークは、インデクサー、キュレーター、委託者、開発者の4つの重要な役割で構成され、共にweb3アプリケーションにデータサポートを提供します。その中で、インデクサーはインデックス作成とクエリ処理を担当し、委託者はGRTトークンをステーキングしてインデックスノードの運営をサポートし、キュレーターはどのサブグラフを優先的にインデックスするべきかを信号として提供し、開発者は主なユーザーとしてサブグラフを作成しネットワークに提出します。

現在、The Graphは完全な非中央集権的サブグラフホスティングサービスに移行しており、異なる参加者間の流通する経済的インセンティブがシステムの運用を確保しています。インデックスノードはクエリ料金とトークン報酬を通じて収益を得ており、委託者とキュレーターもその中から一部の報酬を受け取ることができます。

The Graphの製品はAIの波の中で急速に発展しています。Semiotic Labsが開発したAutoAgora、Allocation Optimizer、AgentCなどのツールは、動的価格設定、リソース最適化配分、自然言語クエリなど、エコシステムのパフォーマンスをさまざまな面で向上させています。これらのツールの応用により、The GraphはAIを組み合わせてシステムのインテリジェンスとユーザーフレンドリーさをさらに向上させました。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

3.2 チェーンベース

Chainbaseは全ブロックデータネットワークであり、すべてのブロックチェーンデータを一つのプラットフォームに統合し、開発者がアプリケーションを構築および維持しやすくします。その特徴的な機能には:

• リアルタイムデータレイク: ブロックチェーンデータストリーム専用のリアルタイムデータレイクを提供し、データに即時アクセスできるようにします。

• デュアルチェーンアーキテクチャ: Eigenlayer AVSに基づいて実行層を構築し、CometBFTコンセンサスアルゴリズムと並行してデュアルチェーンアーキテクチャを形成し、クロスチェーンデータのプログラム可能性とコンポーザビリティを強化しました。

• 革新的なデータフォーマット標準: "manuscripts"データフォーマット標準を導入し、暗号業界におけるデータの構造化と利用方法を最適化しました。

• 暗号世界モデル:AIモデル技術を組み合わせ、ブロックチェーン取引を理解、予測し、相互作用できるAIモデルを構築しました。現在、一般公開用の基本版モデルTheiaがリリースされています。

ChainbaseのAIモデルTheiaは、他のデータサービスプロトコルと異なる重要な特徴です。TheiaはNVIDIAのDORAモデルに基づき、オンチェーンとオフチェーンのデータおよび時空間活動を組み合わせて、暗号パターンを学習・分析し、因果推論を通じて応答を行い、オンチェーンデータの潜在的な価値と規則を深く掘り下げて、ユーザーによりインテリジェントなデータサービスを提供します。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

3.3 スペースとタイム

Space and Time (SxT)は、検証可能な計算レイヤーの構築に取り組んでおり、分散型データウェアハウス上でゼロ知識証明を拡張し、スマートコントラクト、大規模言語モデル、企業に信頼できるデータ処理を提供します。

データインデックスと検証の分野で、Space and Timeは革新的なProof of SQL技術を導入しました。これはゼロ知識証明技術であり、分散データウェアハウス上で実行されるSQLクエリが改ざん防止かつ検証可能であることを保証します。クエリ時に、Proof of SQLは暗号証明を生成し、クエリ結果の完全性と正確性を検証します。この方法は、従来のコンセンサスメカニズムの下で複数のノードが同じデータを繰り返しインデックスする際のリソースの無駄を変え、システム全体の性能を向上させました。

SxTはマイクロソフトAI共同イノベーションラボと緊密に協力し、生成的AIツールの研究開発を加速し、ユーザーが自然言語処理でブロックチェーンデータを簡単に扱えるようにしています。Space and Time Studioでは、ユーザーが自然言語のクエリを入力すると、AIが自動的にそれをSQLに変換し、クエリを実行してユーザーが必要とする最終結果を表示します。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

結論と展望

ブロックチェーンデータインデックス技術は、最初のノードデータソースから始まり、データ解析とインデクサーの発展を経て、最終的にAIによる全チェーンデータサービスへと進化しました。この技術の不断の進化は、データアクセスの効率と正確性を向上させるだけでなく、ユーザーに前例のないインテリジェントな体験を提供しました。

未来を展望すると、AI技術やゼロ知識証明などの新技術の継続的な発展に伴い、ブロックチェーンデータサービスはさらにインテリジェントで安全になるでしょう。我々は、ブロックチェーンデータサービスが今後インフラとして重要な役割を果たし、業界の進歩と革新を強力にサポートすることを信じるに足る理由があります。

![読み取り、インデックスから分析、Web3データインデックス分野の概要](https://