Web3数据索引是什么？简述Web3数据索引赛道

Web3 数据索引到底是什么？这个赛道又包含哪些关键技术与项目？简单来说，区块链上的所有交易记录都储存在节点中，但普通用户想要直接查询这些原始数据非常困难。因此，数据索引服务应运而生，它负责将这些复杂的数据整理、索引，让开发者能方便地调用。展望未来，随着 AI 和零知识证明等技术的发展，区块链数据服务可能会变得更加智能和安全。它正在成为 Web3 世界必不可少的基础设施。那么，具体来看，Web3 数据索引是如何演进的？未来的发展路径又在哪里？本文会带各位读者一起梳理。

1 引言

从 2017 年最早一批去中心化应用（dApp）——例如 Etheroll、ETHLend 与 CryptoKitties——开始，到如今五花八门的金融、游戏与社交类 dApp 在不同链上涌现，用户与这些应用交互时产生的各类数据，究竟从何而来？这个问题，其实很少有人仔细想过。

2024 年，AI 与 Web3 成为了行业内讨论的焦点。对人工智能来说，数据就像植物生长需要的水和阳光一样重要。没有足够的数据，再精妙的算法也只是空中楼阁，无法发挥其智能水平与真实效能。

本文会从“区块链数据可访问性”的角度，梳理行业发展过程中区块链数据索引的演变历程，并将老牌索引协议 The Graph 与新兴的区块链数据服务协议 Chainbase 和 Space and Time 进行对比。我们会重点关注后两者如何结合 AI 技术，并分析它们在数据服务与产品架构设计上的差异。

2 数据索引的繁与简：从区块链节点到全链数据库

开始了解区块链时，我们常听到一句话：区块链是一个去中心化的账本。区块链上的节点承担着记录、存储和传播所有交易数据的任务。每个节点都保留一份完整的区块链数据副本，以此维持整个网络的去中心化特性。然而，对于普通用户来说，自己运行一个完整的区块链节点并不是件容易的事。它既需要专业的技术背景，也意味着高昂的硬件和带宽成本。同时，普通的节点查询能力有限，很难直接提供开发者所需的格式。因此，尽管理论上任何人都可以运行节点，实际使用中，大家更倾向于选择第三方服务。

针对这个问题，RPC（远程过程调用）节点提供商出现了。这些服务商负责节点的运营与成本，通过 RPC 端点提供数据。用户无需自行搭建节点，就能方便地访问链上信息。公共 RPC 端点是免费的，但通常有速率限制，可能会影响 dApp 的用户体验。私有 RPC 端点性能更好，但即使是简单的数据检索，也需要大量的来回通信，这使得它们对复杂查询的效率并不理想。此外，私有 RPC 端点扩展性有限，且不同网络之间的兼容性也成问题。尽管如此，节点提供商提供的标准化 API 接口，确实降低了用户访问链上数据的门槛，为后续的数据解析和应用打下了基础。

从区块链节点直接获取的数据，通常是经过加密和编码处理的原始数据。这些数据虽然保留了区块链应有的完整性与安全性，但复杂度很高，普通用户或开发者直接处理这些原始数据，需要不少技术知识与计算资源。

因此，数据解析这一步就显得格外重要。通过将复杂的原型数据进行转换，变成更容易理解和操作的格式，用户才能更直观地利用这些信息。可以说，数据解析的顺利与否，直接决定了区块链数据应用的效果与效率，是整个数据索引流程中的关键一步。

随着链上数据量不断增加，对数据索引器的需求也随之增长。索引器在组织链上数据并将其存入数据库供查询方面，扮演着核心角色。它们通过索引区块链数据，并借助类似 SQL 的查询语言（比如 GraphQL 等 API）来提供服务。通过提供统一的查询界面，索引器允许开发人员使用标准化的查询语言快速准确地获取信息，大大简化了整个流程。

不同类型的索引器在数据检索方面各有侧重：

1. 完整节点索引器：运行完整的区块链节点，直接从节点中提取数据。这样可以确保数据完整准确，但需要大量的存储与处理能力。

2. 轻量级索引器：依赖完整节点按需获取特定数据。存储要求较低，但查询时间可能会增加。

3. 专用索引器：针对特定类型数据或特定区块链进行优化，例如专门用于 NFT 数据或 DeFi 交易的场景。

4. 聚合索引器：从多个区块链和来源（包括链下信息）提取数据，提供统一的查询界面。这对多链 dApp 来说尤其有用。

以以太坊档案节点（Archive Node）为例，在 Geth 客户端下，存档模式占用的存储空间大约为 13.5 TB，而在 Erigon 客户端下则约为 3 TB。随着区块链不断增长，存储量还会继续上升。面对如此庞大的数据量，主流索引器协议不仅支持多链索引，还会针对不同应用的数据需求定制数据解析框架。The Graph 的“子图”（Subgraph）框架就是一个典型例子。

索引器的出现大大提升了数据的索引与查询效率。与传统的 RPC 端点相比，索引器能够高效地索引大量数据，并支持高速查询。用户还可以执行复杂的查询、轻松过滤数据，并在提取后进行进一步分析。此外，部分索引器还支持聚合来自多条区块链的数据源，让多链 dApp 无需部署多个 API。通过在多个节点上分布式运行，索引器不仅增强了安全性和性能，也减少了集中式 RPC 提供商可能带来的中断与停机风险。

相比之下，索引器通过预先定义的查询语言，让用户无需处理底层复杂的数据结构，就能直接获取所需信息。这种机制显著提高了数据检索的效率与可靠性，是区块链数据访问领域的一项重要创新。

使用索引节点查询数据，往往意味着 API 成为获取链上数据的唯一通道。然而，当一个项目进入扩展阶段时，往往需要更灵活的数据源——这正是标准化 API 所无法提供的。随着应用需求的复杂化，初级数据索引器和其标准化的索引格式，逐渐难以满足越来越多样化的查询需求，比如搜索、跨链访问或链下数据映射。

在现代数据管道架构中，“流优先”方法已经成为应对传统批处理局限性的一种方案，它可以实现数据的实时摄取、处理与分析。这种范式的转变，让组织能够对传入数据立即做出响应，从而几乎实时地得出洞察并做出决策。类似地，区块链数据服务提供商的发展也在朝着构建区块链数据流的方向前进。传统索引器服务商陆续推出了以数据流方式获取实时区块链数据的产品，例如 The Graph 的 Substreams、Goldsky 的 Mirror，还有像 Chainbase 和 SubSquid 这样，根据区块链生成数据流的实时数据湖。

这些服务旨在解决对区块链交易进行实时解析，并提供更全面查询能力的实际需求。就像“流优先”架构通过降低延迟和增强响应能力来革新传统数据管道一样，这些区块链数据流服务商也希望用更先进且成熟的数据源，支持更多应用的发展，并辅助链上数据分析。

通过现代数据管道的视角重新审视链上数据的挑战，我们得以从全新的角度看待链上数据的管理、存储和供给潜力。当我们开始将子图和以太坊 ETL 这类索引器视为数据管道中的数据流，而不是最终输出时，便可以设想一个能为任意业务用例定制高性能数据集的可能性。

3 AI + Database？深入对比 The Graph、Chainbase 和 Space and Time

The Graph 网络通过一个去中心化的节点网络来实现多链数据索引与查询服务，帮助开发者更便捷地索引区块链数据并构建去中心化应用。它的主要产品模式包括数据查询执行市场和数据索引缓存市场。简单来说，这两个市场都服务于用户的产品查询需求。数据查询执行市场，指的是消费者为所需的数据，选择合适的索引节点并付费；而数据索引缓存市场，则是索引节点根据子图的历史索引热度、收取的查询费以及链上策展人对子图输出的需求，来调配资源分配的市场。

子图（Subgraphs）是 The Graph 网络中的基础数据结构，定义了如何从区块链中提取并转换数据为可查询的格式（例如 GraphQL 模式）。任何人都可以创建子图，而且多个应用可以重复使用这些子图，这提升了数据的可复用性与使用效率。

The Graph 的产品结构（来源：The Graph 白皮书）

The Graph 网络由四个关键角色构成：索引器、策展人、委托人和开发者。他们共同为 Web3 应用提供数据支持。各自的职责如下：

• 索引器（Indexer）：索引器是 The Graph 网络中的节点运营商，通过质押 GRT（The Graph 的原生代币）参与网络，提供索引与查询处理服务。

• 委托者（Delegator）：委托者是将 GRT 代币质押给索引节点，以支持其运营的用户。委托者通过所支持的索引节点赚取部分奖励。

• 策展人（Curator）：策展人负责指示哪些子图应该被网络优先索引，帮助确保有价值的子图获得处理资源。

• 开发者（Developer）：与前三者作为供应方不同，开发者是需求方，也是 The Graph 的主要用户。他们创建并提交子图至 The Graph 网络，等待网络提供所需数据。

目前，The Graph 已转向全面的去中心化子图托管服务。不同参与方之间有流通的经济激励，确保系统运转：

• 索引节点奖励：索引节点通过消费者的查询费用和部分 GRT 代币区块奖励来赚取收益。

• 委托者奖励：委托者通过所支持的索引节点获得部分奖励。

• 策展人奖励：如果策展人成功“信号”了有价值的子图，他们可以从查询费用中获得部分奖励。

实际上，The Graph 的产品也在 AI 浪潮中快速发展。作为 The Graph 生态系统的核心开发团队之一，Semiotic Labs 一直致力于利用 AI 技术优化索引定价和用户查询体验。目前，Semiotic Labs 开发的 AutoAgora、Allocation Optimizer 和 AgentC 工具，分别在多个方面提升了生态系统的性能。

• AutoAgora 引入了动态定价机制，根据查询量和资源使用情况实时调整价格，优化定价策略，帮助索引器保持竞争力并最大化收入。

• Allocation Optimizer 解决了子图资源分配的复杂问题，帮助索引器实现资源的最佳配置，以提升收入与性能。

• AgentC 是一个实验性工具，允许用户通过自然语言访问 The Graph 的区块链数据，从而提升使用体验。

这些工具的应用，让 The Graph 结合 AI 辅助，进一步提升了系统的智能化水平和用户友好度。

Chainbase 是一个全链数据网络，它将所有区块链数据整合到一个平台，让开发者能够更轻松地构建和维护应用程序。它的独特功能包括：

• 实时数据湖：Chainbase 提供了一个专门用于区块链数据流的实时数据湖，使得数据在生成时就能被即时访问。

• 双链架构：Chainbase 基于 Eigenlayer A VS 构建了一个执行层，与 CometBFT 的共识算法形成并行的双链架构。这种设计增强了跨链数据的可编程性与可组合性，支持高吞吐量、低延迟和最终性，并通过双重质押模型提升了网络安全性。

• 创新数据格式标准：Chainbase 引入了一种名为“Manuscripts”的全新数据格式标准，优化了加密行业中数据的结构化与利用方式。

• 加密世界模型：凭借庞大的区块链数据资源，Chainbase 结合 AI 模型技术，打造了能够理解、预测区块链交易并与之交互的 AI 模型。目前已推出基础版模型 Theia，供公众使用。

这些功能让 Chainbase 在区块链索引协议中脱颖而出，尤其注重实时数据的可访问性、创新的数据格式，以及通过链上与链下数据的结合，创建更智能的模型以提升洞察力。

Chainbase 的 AI 模型 Theia 是其区别于其他数据服务协议的关键亮点。Theia 基于 NVIDIA 开发的 DORA 模型，结合链上与链下数据以及时空活动，学习并分析加密模式，并通过因果推理做出响应，从而深入挖掘链上数据的潜在价值与规律，为用户提供更智能化的数据服务。

AI 赋能的数据服务，让 Chainbase 不再仅仅是一个区块链数据服务平台，而成为一个更具竞争力的智能化数据服务商。凭借强大的数据资源和 AI 的主动分析，Chainbase 能够提供更广泛的数据洞察，并优化用户的数据处理过程。

Space and Time（SxT）的目标是打造一个可验证的计算层。它在去中心化数据仓库上扩展零知识证明，从而为智能合约、大语言模型和企业提供可信的数据处理。目前，Space and Time 已完成 2000 万美元的 A 轮融资，由 Framework Ventures、Lightspeed Faction、Arrington Capital 和 Hivemind Capital 领投。

在数据索引与验证领域，Space and Time 引入了一条全新的技术路径——Proof of SQL。这是 Space and Time 开发的一种创新零知识证明（ZKP）技术，能够确保在去中心化数据仓库上执行的 SQL 查询是防篡改且可验证的。当运行查询时，Proof of SQL 会生成一个加密证明，以验证查询结果的完整性与准确性。这个证明附加在查询结果上，任何验证者（比如智能合约）都可以独立确认数据在处理过程中没有被篡改。传统的区块链网络通常依赖共识机制来验证数据的真实性，而 Space and Time 的 Proof of SQL 实现了一种更高效的数据验证方式。具体来说，在 Space and Time 的系统中，一个节点负责数据的获取，而其他节点则通过零知识技术验证该数据的真实性。这种方式改变了共识机制下多个节点重复索引相同数据、最终达成共识所带来的资源损耗，提升了系统的整体性能。随着这项技术的成熟，它为那些高度依赖数据可靠性的传统行业，利用链上数据构建产品，打下了基础。

同时，SxT 一直与微软 AI 联合创新实验室密切合作，加速研发生成式 AI 工具，让用户能更轻松地通过自然语言处理区块链数据。目前在 Space and Time Studio 中，用户可以体验输入自然语言查询，AI 会自动将其转换为 SQL 并代表用户执行查询，最终呈现用户需要的结果。

结论与展望

总的来说，区块链数据索引技术从最初的节点数据源头出发，经过数据解析与索引器的发展，最终演进到 AI 赋能的全链数据服务，走过了一条逐步完善的路径。这些技术的持续演进，不仅提高了数据访问的效率与准确性，也给用户带来了前所未有的智能化体验。

展望未来，随着 AI 技术与零知识证明等新技术的不断发展，区块链数据服务有可能会变得更加智能和安全。可以预见，区块链数据服务将继续作为基础设施，在行业发展与创新中扮演重要角色。不过需要提醒的是，本文涉及的所有项目、协议以及技术分析，均不构成任何投资建议。加密货币市场波动较大，涉及的技术与项目也在快速迭代，具体数据与项目进展请以官方公告、交易所页面或实时行情平台为准。此外，任何关于价格预测、行情判断的内容都仅供参考，不应视为确定性结论。请读者自行做好风险评估，切勿因本文内容而产生投资或交易冲动。