Skip to main content

什么算作 AI component 的证据

注意：本文档是英文原版的自动翻译。

什么算作 AI component 的证据

当 DecAIHub 评估一个项目是否拥有可工作的 AI component 时，它寻找的是可验证的工件——而不是营销文案、不是承诺、也不是品牌关联。本页列出能够强化 DecAI Fit 评分中 AI reality 坐标轴的各类证据，从最强到最弱排列。

简而言之： AI 的证据意味着你可以检视、测试或独立验证的工件——代码、文档、带方法的指标、可工作的演示，以及第三方评估。

Tier-1 证据（最强）

Tier-1 来源是由项目自身发布或控制的工件。对 AI reality 坐标轴而言，最强的 Tier-1 证据包括：

  • 包含 AI/ML 代码的公开代码库 —— 模型训练脚本、推理逻辑、数据流水线、预处理步骤。一个有提交、发布和测试的代码库，远比一个只有 README 的占位代码库更有力。
  • 技术文档 —— 对模型架构、输入/输出格式、模型版本和更新历史的描述。它回答“什么模型、如何工作、运行的是哪个版本”。
  • 带方法的质量指标 —— 公布的基准或评估结果，说明测量了什么、在什么数据上、何时测量、以及用哪个版本的模型。缺少这种上下文的指标不是证据。
  • 可工作的演示或端点 —— 一个公开可访问的界面、API 或沙盒，AI component 可以在其中被测试。一个处理真实输入并返回 AI 驱动输出的演示是直接证据。
  • 审计报告或第三方评估 —— 由公认实体对模型质量、公平性、安全性或性能做出的独立评估。

能强化 Tier-1 证据的模式

并非所有 Tier-1 工件都同等有说服力。若干可观察的模式让证据更可信：

  • 提交历史的深度。 一个有数月或数年增量提交、拉取请求、代码评审和版本化发布的代码库，展示出持续的工程投入。一次性批量上传的分量要小得多。
  • 测试覆盖率和 CI 流水线。 针对模型推理、数据校验和集成端点的自动化测试，表明这是一个生产级系统，而非概念验证。
  • 版本化的模型与变更日志。 当文档追踪部署的是哪个模型版本、版本之间改了什么以及为何而改时，这表明这是一个有活跃开发周期的、活的系统。
  • 可复现的输出。 如果一个演示或 API 对相同输入跨会话返回一致、可解释的结果，这比一次性的展示更有力。
  • AI 逻辑与样板代码的分离。 在一个 AI/ML 模块清晰可辨——与前端脚手架、部署脚本或代币合约相区分——的代码库中，更容易验证 AI component 实际做了什么。

Tier-2 证据（上下文，而非证明）

Tier-2 来源提供上下文，但单凭它们无法证明存在可工作的 AI component：

  • 团队描述其 AI 途径、架构或训练过程的访谈或 AMA。
  • 聚合站点（CoinGecko、DeFiLlama 等）提及 AI 能力的描述。
  • 与 AI 供应商或研究实验室的合作公告。

Tier-2 证据可以支持一项 Tier-1 发现，但无法取代它。与一家 AI 公司的合作并不能证明该项目拥有自己可工作的 AI。

Tier-2 证据何时重要

当 Tier-2 来源印证 Tier-1 工件，或填补单凭 Tier-1 仍含糊的空白时，它们就变得相关：

  • 一场团队逐步讲解其文档所述架构的技术访谈，为 Tier-1 文档增添了可信度。
  • 一个与项目自身白皮书所述能力相符的聚合站点条目，表明了一致性。
  • 一场带有现场演示、且演示行为与项目公开 API 行为相吻合的会议演讲，强化了该演示并非脚本化的判断。

然而，若没有底层的 Tier-1 工件，即便是有说服力的 Tier-2 来源也仍然只是上下文——对理解有价值，对验证不充分。

什么不算

有些工件看起来像证据，却并不能证明存在可工作的 AI component。常见的虚假信号包括营销文案、空代码库、没有方法的指标，以及没有专有逻辑的 API 包装器。详细清单请参阅什么不算作 AI 的证据。

DecAIHub 如何记录 AI 证据：标志 AI_0 到 AI_4

AI reality 坐标轴使用五个二元标志来捕捉已发现的证据：

标志 它检查什么 取值
AI_0 是否至少存在一个 Tier-1 的 AI 意图声明（路线图、官方更新） 1 / 0
AI_1 是否有对 AI 所做之事的描述 1 / 0
AI_2 是否有演示或可工作的示例 1 / 0
AI_3 是否有带上下文的质量指标（测了什么、在什么数据上、何时） 1 / 0
AI_4 是否有技术描述、架构或模型版本 1 / 0

等于 1 的标志越多，ai_score 越高，项目的 DecAI Fit 也越好。如果没有任何标志被置位，则 ai_score = 0，且 DecAI Fit 无法超过 0。

标志组合如何映射到置信度

单个标志回答狭窄的问题，但它们的组合勾勒出更完整的图景：

已置位的标志 典型解读
仅 AI_0 已声明意图；尚未验证可工作的 AI
AI_0 + AI_1 用文字描述了 AI；无演示、无指标、无架构
AI_0 + AI_1 + AI_2 存在一个可工作的演示；仍无指标或技术深度
AI_0 + AI_1 + AI_2 + AI_4 演示和架构都有；缺少质量度量
全部五个（AI_0 到 AI_4） 最强的证据画像：意图、描述、演示、指标和架构

一个项目无需满足全部五个标志才能获得非零 ai_score。即便单凭 AI_0（带 Tier-1 来源的意图）也能使 ai_score = 1。然而，更高的标志为 DecAI Fit 贡献更高的上限。

方法为何对指标很重要

一个孤立的数字——“95% 准确率”“低延迟”“最先进”——若无上下文便不是证据。DecAIHub 认为指标只有在回答以下四个问题时才有意义：测量了什么（准确率、F1、延迟、困惑度）、在什么数据上（公开基准、专有测试集、生产流量）、何时（评估日期），以及产生该结果的是模型的哪个版本。缺少这些，一个指标就是一个宣称，而非证据。

四问测试

在评估任何已公布的指标时，应用这份清单：

  1. 什么 —— 指标是否被命名和定义？“准确率”是含糊的；“top-1 分类准确率”是具体的。
  2. 在什么数据上 —— 评估数据集是否被指明？公开基准允许独立复现；专有测试集则不能，但指明它好过沉默。
  3. 何时 —— 是否有日期或发布标签？模型会随时间变化；没有时间戳的指标可能并不反映当前系统。
  4. 哪个版本 —— 是否说明了模型或系统版本？如果一个项目发布过多个模型迭代，该指标必须与某个具体版本绑定。

如果这四点中有任何一点缺失，在 DecAIHub 的评估中该指标就从“证据”降为“宣称”。它仍可能作为一项被记录的宣称出现在项目卡片中，但不会贡献于将 AI_3 标志置为 1。

如何使用这份清单

阅读项目卡片时，检查 Evidence 表格是否引用了上述 Tier-1 清单中的工件。如果卡片显示 ai_score = 0 或标记了 AI-washing 的担忧，这意味着截至验证日期未找到这些工件——这不是对项目的指控。

当新的 Tier-1 工件出现时，卡片会更新，分数可能改变。

给读者的实用步骤

  • 从 Evidence 表格开始。 寻找指向代码库、文档或演示的链接。如果 Evidence 表格为空或只引用 Tier-2/3 来源，那么 AI reality 宣称就未经验证。
  • 点进工件去看。 一个代码库链接的价值只取决于其内部内容。打开它，寻找 AI/ML 代码，而不只是一个 README 或部署脚本。
  • 核查验证日期。 证据是一个快照。六个月前验证的卡片可能并不反映项目当前的状态，这就是 DecAIHub 在 550 天后施加过期惩罚的原因。
  • 与反模式清单交叉对照。 如果你看到什么不算作 AI 的证据中的模式，请据此对证据进行加权。

这份清单本身无法证明什么

  • 满足所有证据标准并不能证明 AI 高质量或对终端用户有用。它证明的是工件存在且可被检视。
  • 来自项目自身的 Tier-1 证据并不能证明其独立性。自报数据理想情况下应由第三方评估加以印证。
  • 一份完整的证据记录并不能证明 token 是必要的。AI reality 是 DecAI Fit 的一条坐标轴；Token necessity 是另一条。

常见问题

在一个加密项目中，什么算作最完整的 AI 证据？

一个包含 AI/ML 代码、并具有有意义提交历史的公开代码库，结合公布的、包含完整方法（测量了什么、在什么数据上、何时、以及哪个模型版本）的质量指标。当两者都存在，并由一个可工作的演示或 API 端点支持时，证据画像便处于最完整的状态。单个工件本身都不具决定性——是代码、指标和可测试输出的组合，把已验证的 AI 与未经验证的宣称区分开来。

一个项目能否在没有开源代码的情况下拥有真实的 AI？

能。开源代码是最透明的证据形式，但并非唯一形式。一个项目可以通过详尽的技术文档、带方法的公布基准、返回可验证 AI 驱动输出的可工作 API，或独立的第三方评估来展示 AI。然而，若没有至少某种可检视的工件——代码、演示或评估——DecAIHub（或任何其他人）就没有任何东西可供验证。一个项目越封闭，就越依赖 Tier-2 印证（访谈、聚合站点数据、会议演示）来建立可信度。

一个可工作的演示能否证明 AI 是真实的？

一个可工作的演示是强有力的证据，但单凭它本身并非确凿证明。一个设计良好的前端可以使用硬编码响应、预计算结果或对第三方 API 的隐藏调用来模拟类 AI 行为。当演示伴有 API 文档、模型版本标识或跨不同输入可复现的输出时，DecAIHub 才将其视为更强的证据。一个接受任意用户输入并返回多样、语境恰当输出的演示，比一个带有预设示例的引导式展示更有说服力。

获得非零 ai_score 所需的最低证据是什么？

最低限度是一个 Tier-1 的 AI 意图声明——一条路线图条目、一篇官方博客文章，或一个明确陈述 AI 相关计划的文档页面。这会把 AI_0 标志置为 1 并产生 ai_score = 1。虽然这是可能的最低非零分数，但它把已正式承诺某个 AI 方向的项目，与完全没有提及 AI 的项目区分开来。要达到更高分数，项目需要提供额外的工件：对 AI component 的描述（AI_1）、演示（AI_2）、带方法的指标（AI_3），以及技术架构细节（AI_4）。

外部参考

另请参阅

No comments to display

Back to top