Skip to main content

什么是推理

注意：本文档是英文原版的自动翻译。

什么是推理

**推理（inference）**是在新数据上运行一个已训练的 AI 模型以获得结果的过程。当一个模型对图像进行分类、生成一段文本、预测一个风险评分或推荐一个行动时，它就在执行推理。如果说训练是模型学习的方式，那么推理就是它工作的方式。

一个有用的类比：训练是为考试而学习——阅读教科书、解练习题、吸收规律。推理是参加考试——在真实条件下把所学应用到新问题上。每当一个 AI 系统在生产中产出输出时，那就是推理。

简而言之： 训练是为考试而学习；推理是参加考试。每当一个 AI 系统在生产中产出输出时，那就是推理。

推理的逐步工作流程

尽管在终端用户看来推理是瞬间完成的（“我输入一个问题，得到一个答案”），但每当模型产出输出时，幕后都会运行一条具体的流水线。

输入

一切始于输入数据——一段文本提示、一张图像、一组数字、一个区块链交易哈希、一段音频片段，或模型被设计用来处理的任何其他结构化或非结构化数据。

预处理

原始输入很少被直接喂给模型。预处理步骤会把它转换成模型期望的格式。对于文本模型，这意味着分词（tokenization）——把文本切分为 token（子词单元）并将其转换为数字 ID。对于图像模型，这意味着调整尺寸、归一化像素值，有时还会增强图像。预处理必须与训练期间使用的步骤完全一致；否则，模型收到的数据格式将是它从未被训练去处理的。

前向传播

经过预处理的输入被逐层传递通过模型的架构——经过所有学习到的权重和激活函数。这被称为前向传播（forward pass）。在这一步中，模型把它在训练期间学到的规律应用到新输入上。没有权重被更新；没有学习发生。模型只是用其已有的知识从输入计算出一个输出。

对于一个大语言模型，前向传播会产出一个关于可能的下一个 token 的概率分布。对于一个分类器，它会产出每个类别的概率。对于一个生成式图像模型，它会逐步产出一张去噪后的图像。

输出

前向传播产出原始输出——通常是一个数字向量、一组概率，或一串 token 序列。这个原始输出需要被解读才能变得有用。

后处理

后处理把原始输出转换为人类可读或系统可用的结果。对于 LLM，这意味着把 token ID 解码回文本。对于分类器，这意味着把概率分数映射到类别标签（“垃圾邮件”与“非垃圾邮件”）。对于评分模型，这意味着把原始值转换为应用所期望的分数区间。

总结如下：

步骤 发生了什么 示例（文本模型）
输入 原始数据到达 用户输入一个问题
预处理 数据被转换为模型格式 文本被分词为数字 ID
前向传播 模型用学习到的权重从输入计算输出 词表上的概率分布
原始输出 产出数值结果 token 概率
后处理 输出被转换为可用形式 token ID 被解码回文本

推理的类型

并非所有推理都相同。不同的部署场景会产生不同的技术要求和权衡。

实时推理与批量推理

维度 实时推理 批量推理
何时运行 按需，每个请求一次 按计划运行，或在积累成一批时运行
延迟要求 低（毫秒到秒） 灵活（分钟到小时可接受）
使用场景 聊天机器人、实时评分、交互式代理 报告生成、批量分类、周期性分析
成本特征 单请求更高（硬件必须始终就绪） 单条目更低（硬件在突发中被高效使用）

实时推理是终端用户通常体验到的——他们发送一个查询并立即收到答案。批量推理在后端流水线中很常见，模型一次处理成千上万的数据点（例如，对过去一小时内的所有交易评估欺诈风险）。

边缘推理与云端推理

  • 云端推理运行在数据中心的中心化服务器（或服务器集群）上。它提供强大的硬件（高端 GPU、大内存），但引入了网络延迟以及对中心化提供商的依赖。
  • 边缘推理运行在本地设备上——智能手机、物联网传感器、嵌入式硬件。它降低延迟并把数据保留在设备上，但受限于设备的算力和内存。

许多生产系统会结合两者：轻量模型在边缘运行以提供快速的初步响应，而复杂查询则被转发到基于云的模型。

链上推理与链下推理

这一区分是加密 AI 所特有的，也是 DecAIHub 评估项目的核心：

  • 链下推理——模型运行在传统服务器或 GPU 集群上。结果之后可能会、也可能不会被发布到区块链。这是加密 AI 项目中最常见的设置，因为直接在区块链上运行大模型在计算上不切实际。
  • 链上推理——模型（或其计算的可验证证明）在区块链的执行环境内运行。由于智能合约环境的计算限制，针对非平凡模型的真正链上推理极为罕见。声称链上推理的项目通常使用以下做法之一：在智能合约内运行一个非常小的模型，发布一份密码学证明（如 zkML）来表明推理在链下被正确执行，或使用一种类似预言机的机制，让链下推理结果被证明并记录到链上。

链上推理与链下推理之间的区分，与 DecAI Fit 中的 Onchain necessity 维度直接相关。

为什么推理在加密 AI 中很重要

如果一个项目声称使用人工智能，那么推理必定在某处发生。一个被训练了却从不运行推理的模型不产出任何输出，也不为用户带来任何价值。推理是 AI 不再是一个概念、开始成为一个产品的那个点。

在 DecAIHub 项目卡片中，AI component 字段常常提到与推理相关的机制：推理引擎、去中心化推理、LLM 推理端点、模型服务。这些是模型确实在被使用、而非只是被宣称的具体指标。

成本、速度与算力的关联

推理不是免费的。运行一个模型需要计算资源——通常是 GPU 或专用加速器，如 TPU 和定制 ASIC。推理的成本取决于若干因素：

因素 对成本和速度的影响
模型大小（参数量） 更大的模型每个请求需要更多内存和算力
输入长度 更长的输入（如长文本提示）会增加处理时间
输出长度 对于自回归模型（LLM），每个输出 token 都需要一次前向传播
批量大小 把多个请求一起处理可以提升吞吐量，但会增加延迟
硬件 更强大的 GPU 缩短时间但成本更高
量化 降低数值精度（例如从 32 位到 8 位）以一定的准确率为代价，削减内存和算力

项目通过多种技术来优化推理：

  • 量化 — 降低权重的数值精度，以使用更少的内存和算力。
  • 蒸馏 — 训练一个较小的“学生”模型来模仿较大的“教师”模型，产出一个速度更快、质量损失可接受的模型。
  • 批处理 — 把多个请求分组，以同时处理它们并分摊计算开销。
  • 缓存 — 为重复或相似的查询存储并复用结果。
  • 硬件选型 — 为工作负载选择合适的 GPU、TPU 或加速器。

为推理提供动力的算力基础设施是加密 AI 中的一个重要领域。许多项目专门构建或协调 GPU 网络来服务推理工作负载，归入 AI/计算或 AI/推理类别。

去中心化推理

在传统 AI 中，推理运行在由一家公司控制的中心化服务器上。去中心化推理把模型服务分布到一个由独立提供商组成的网络中。这是加密 AI 项目中 AI/推理类别的核心模式。

去中心化推理引入了一系列在中心化系统中并不存在的挑战：

  • 输出一致性 — 对于相同的输入，不同的提供商必须产出相同（或足够相似）的输出。硬件差异、软件版本和数值精度都可能导致分歧。
  • 验证 — 你如何证明确实使用了正确的模型、输入未被篡改、且输出是诚实计算的？做法包括多提供商共识（在多个节点上运行同一查询并比较结果）、提供硬件级保证的可信执行环境（TEE），以及在不泄露模型权重或输入数据的情况下证明计算正确的零知识证明（zkML）。
  • 延迟 — 与中心化服务器相比，把请求路由到分布式提供商会增加网络开销。
  • 支付协调 — 提供商需要被公平地补偿，这往往涉及与已验证推理工作挂钩的链上支付机制。

这些机制在作为 AI 组件的推理页面有详细描述。

它在 DecAIHub 项目卡片中的体现

推理在 DecAIHub 项目卡片的多个部分浮现：

  • AI component — 与推理相关的取值，如“inference”“model serving”“LLM inference”或“decentralized inference”，表明一个项目的核心 AI 功能涉及在生产中运行模型。
  • 类别 — AI/推理类别中的项目专门聚焦于提供推理基础设施或服务。
  • 证据表 — 推理的 Tier-1 证据包括公开的 API 端点、推理基准、延迟测量和可验证的算力日志。
  • ai_score — 一个用已发布证据展示出在运行推理的项目，比一个只描述模型却不展示其运行的项目获得更高的 ai_score。

一个项目可以声称拥有一个模型，但如果没有证据表明推理正在生产中发生，那么这个模型就不会为终端用户带来任何价值。

仅凭推理不能证明什么

  • 通过 API 在第三方模型上运行推理（例如调用 GPT 或 Claude）在技术上属于推理，但并不能展示专有的 AI 能力。参见什么是 API 包装器。
  • 推理证明一个模型在运行——它并不能证明该模型是高质量的或适合任务的。质量需要基准与指标。
  • 推理并不能证明代币是必要的，使管道得以运转，也不能证明该项目需要上链。这些是 DecAI Fit 中的独立维度。
  • 没有已发布基准或方法论的速度主张是无法验证的。宣称“最快推理”需要可复现的证据。
  • 推理端点的存在并不能证明其背后的模型是由该项目构建的，而非某个开源模型的托管副本。

请务必查看证据表以及 Tier-1/2/3 证据中的支撑工件。

请勿混淆

  • 训练 产出模型。推理使用它。它们是 AI 生命周期中相继的阶段。
  • 作为 AI 组件的推理 专门描述推理如何在 DecAIHub 项目卡片中体现。本页解释的是这一概念本身。
  • AI/推理 类别 归类那些聚焦于推理基础设施的项目。推理这一概念适用于任何运行模型的项目，与其类别无关。
  • 算力 提供硬件。推理是运行在该硬件上的工作负载。一个算力网络可以同时服务训练和推理工作负载。
  • AI 模型 是工件（已训练的权重）。推理是使用该工件来产出输出的过程。

常见问题

训练与推理有什么区别？

训练是通过让模型接触数据并调整其权重以最小化误差来教授模型的过程。它在计算上昂贵，通常只发生一次（或为再训练而周期性发生）。推理是使用已训练的模型在新数据上产出输出的过程。它在每次用户与模型交互时发生。训练创造模型；推理使用它。

为什么推理速度很重要？

速度决定用户体验和运营成本。一个需要 30 秒才能响应的聊天机器人在实践中是无法使用的。一个需要数分钟才能为一笔交易评分的欺诈检测系统会错过采取行动的窗口。更快的推理还意味着每个请求更低的算力成本，这直接影响一项服务的经济可行性——尤其是对那些由提供商承担硬件成本的去中心化网络而言。

什么是去中心化推理？

去中心化推理把模型服务分布到一个由独立算力提供商组成的网络中，而不依赖单一公司的服务器。关键挑战是确保输出一致性、验证确实使用了正确的模型、管理延迟以及协调支付。AI/推理类别中的加密 AI 项目常常专门为此构建基础设施。

如何验证推理确实在发生？

查找 Tier-1 证据：可被测试的公开 API 端点、推理延迟基准、算力日志、推理请求和结果的链上记录，或可验证的证明（如 TEE 证明或 zkML 证明）。诸如“由 AI 驱动”而缺乏上述任何工件的营销主张，并不构成真实推理的证据。

运行推理的成本是多少？

成本取决于模型大小、输入/输出长度、硬件和优化技术。让单个查询通过一个大语言模型，可能花费几分之一美分到数美分，具体取决于提供商和模型大小。对于去中心化推理网络，成本通常按查询或按计算单元支付，往往使用网络的原生代币或一种稳定币。推理的经济性是一个项目的 AI 管道能否在规模上可持续的关键因素。

另请参阅

外部参考

No comments to display

Back to top