Skip to main content

检索与知识层

注意：本文档是英文原版的自动翻译。

检索与知识层

**检索与知识层（retrieval and knowledge layer）**是一种存储、索引并检索相关信息的系统，使人工智能模型能够生成有依据的回答。它是为模型提供外部知识访问能力的基础设施——文档、链上数据、协议规范、市场事件——而不是仅依赖模型在训练期间记住的内容。

**简而言之：**检索层是 RAG 中的“R”。它是一种搜索并获取的机制，在模型生成回答之前找到正确的上下文。

工作原理

检索与知识层遵循一个通用的流水线：

  1. **摄取（Ingestion）。**从来源收集文档、数据馈送或结构化记录——文档资料、链上事件、API、研究论文、社区内容。
  2. **处理（Processing）。**原始数据被清洗、切分为段落，并转换为可搜索的格式。对于向量搜索，这意味着计算嵌入（embeddings）——文本含义的数值表示。
  3. **索引（Indexing）。**处理后的片段被存储在知识库中——通常是向量数据库、搜索索引或知识图谱。
  4. **检索（Retrieval）。**当查询到达时，系统通过将查询与索引进行比较（语义相似度、关键词匹配或图遍历）找到最相关的片段。
  5. **传递（Delivery）。**检索到的片段作为生成回答的上下文传递给人工智能模型（通常是 LLM）。

整个人工智能系统的质量在很大程度上取决于这一层。一个功能强大但检索层很差的 LLM 会产生基于无关或缺失上下文的回答。

**切分（Chunking）**策略、嵌入（embedding）模型的选择以及重排序（reranking）（一个更仔细地对候选项进行排序的第二阶段）都会影响“正确”的段落能否浮现。**混合（Hybrid）**检索——将稠密向量与关键词或元数据过滤相结合——在查询混合了精确标识符（合约地址、版本号）和开放式语言时很常见。**新鲜度（Freshness）**很重要：除非摄取和失效处理是明确的，否则陈旧的索引可能会悄悄地与实时链上状态相矛盾。

为什么这在加密人工智能中很重要

加密人工智能项目经常构建或声称构建针对 Web3 数据量身定制的知识层。原因很实际：

  • **加密数据是专门化的。**通用 LLM 对特定协议、代币机制、智能合约细节或链上事件的了解有限。一个特定领域的知识库填补了这一空白。
  • **数据变化迅速。**代币价格、治理提案、协议升级和市场状况不断变化。连接到实时数据馈送的检索层能让人工智能的回答保持最新。
  • **链上数据的结构不同。**交易历史、合约状态和钱包活动需要专门的索引——不仅是文本搜索，而是具备链上感知能力的检索。

常见的项目模式包括加密情报终端、协议文档助手、Web3 知识图谱，以及面向 AI 智能体的实时数据流水线。

典型的 AI 组件取值

在 DecAIHub 项目卡片中，AI component 字段经常引用检索与知识层的能力：

  • Retrieval and knowledge layer
  • AgentData (real-time data streams for AI agents)
  • AI Q&A + Web3 knowledge graph
  • AI summaries + crypto intelligence terminal
  • 3D AI agents (RAG/memory/LLM catalog)

这些取值描述了同一核心理念的不同实现方式：为人工智能模型提供对外部知识的结构化访问。

与其他组件的关联

检索层与其他几个 AI 组件相连接：推理（inference）（使用检索到的上下文生成回答的 LLM）、RAG（将检索与生成相结合的架构模式）、数据来源（知识层索引的原材料），以及 AI 智能体（在做出决策前查询知识层）。

知识层不能证明什么

  • 拥有知识库并不能证明使用它的人工智能是真实或准确的。一个项目可以构建一个索引良好的数据库，但其上仍然缺乏一个可用的人工智能模型。
  • 对加密数据建立索引并不能证明检索质量很高。质量取决于切分策略、嵌入模型、相关性排序和数据的新鲜度。
  • 构建检索层并不能证明该项目的人工智能是专有的。检索系统可能只是标准的开源工具（例如向量数据库），没有任何定制的人工智能工作。
  • 仅有知识层并不能证明 Onchain necessity 或 Token necessity。请查看完整的 DecAI Fit 评分。

在评估一个声称拥有检索或知识层的项目时，请寻找具体细节：索引了哪些数据来源、索引更新的频率如何、使用了什么嵌入或搜索模型，以及是否公开了任何质量指标。

请勿混淆

  • RAG —— RAG 是完整的架构模式（检索 + 生成）。检索与知识层是其中的检索那一半。一个项目可以拥有知识层而不实现完整的 RAG 流水线。
  • 数据集（Dataset） —— 数据集是用于训练或评估的静态数据集合。知识层是一个实时、可查询的系统，专为推理时检索而设计。
  • AI component —— 检索层是一种可能的 AI 组件。项目卡片中的 AI component 字段可能描述一个检索层，但它也可能描述推理、训练或其他机制。

常见问题

卡片上仅凭一个向量数据库本身就算是“知识层”吗？

向量数据库通常是实现的一部分，但 AI component 取值意味着存在一条端到端的摄取 → 索引 → 查询路径，为模型提供上下文。如果只存在空的基础设施，而没有经过整理的来源和检索行为，那么在 Tier-1 文档展示完整闭环之前，应将该声明视为不完整。

读者应如何从项目卡片判断检索质量？

卡片可能不会列出每一个工程细节。优先关注有文档记载的嵌入模型、更新节奏、来源列表，以及任何对检索精度或回答忠实度的评估。在已公开的情况下，与基准测试和质量指标交叉核对。

智能体能否使用与聊天助手相同的知识层？

可以。智能体和助手可以共享一个检索栈；区别在于编排和单次回答之外的动作。请参阅 agents as an AI component，了解智能体运行时与被动问答有何不同。

外部参考

另请参阅

No comments to display

Back to top