什么不算作 AI 的证据
注意:本文档是英文原版的自动翻译。
什么不算作 AI 的证据
一个项目可能呈现许多看起来像是可工作 AI component 证明的工件——但仔细审视后,它们实际上并不能证明这一点。本页列出最常见的反模式:那些宣称 AI 能力却不提供可验证证据的信号。它是什么算作 AI component 的证据的姊妹篇。
简而言之: 营销文案、空代码库、没有方法的指标、没有专有逻辑的 API 包装器,以及代币名称中的“AI”,都不是可工作 AI component 的证据。
为什么识别虚假信号很重要
“证据”与“非证据”之间的边界,是 DecAIHub 应对 AI-washing 途径的基石。识别下列模式并不是对项目的指控——它意味着该特定工件并不能推动可验证的 AI reality,不应被误认为 Tier-1 证据。
常见反模式
营销文案中的“我们使用 AI”
在落地页或路演材料上说“AI 驱动”“以机器学习构建”或“神经网络驱动”,是一句定位陈述,而非证据。没有 Tier-1 工件(代码、文档、演示),这些词不具备任何可验证的分量。
DecAIHub 不会因为使用这个词而惩罚项目——但它也不把它当作证据。营销中“AI”的出现反而抬高了门槛:如果一个项目高调宣称 AI,那么支撑性工件的缺失就变得更加显眼。
空的或无关的代码库
一个存在却不含任何 AI/ML 代码的 GitHub 代码库——或只包含一个 README、样板代码或无关脚本——是一个危险信号。一个有意义的代码库有提交、发布、测试,以及与白皮书或文档中宣称相符的代码。
常见模式:一个最近创建、只有单次初始提交的代码库;一个对热门框架的、未做任何修改的分叉;一堆没有模型代码的配置文件;一个一年多没有提交、而项目却仍在宣称积极进行 AI 开发的代码库。
没有方法的指标
宣称“95% 准确率”或“最先进的性能”,若没有上下文便毫无意义:测量了什么、在什么数据上、何时、以及用模型的哪个版本。没有方法的指标不是 Tier-1 证据。
“我们的模型在 XYZ 基准上达到 0.92 F1,于 2026 年 1 月在版本 2.1 上评估”是一个指标。“我们达到 92% 准确率”是一个宣称。DecAIHub 把宣称记录为被记下的陈述,但不会基于它们置位 AI_3 标志。
没有专有逻辑的 API 包装器
调用 OpenAI、Anthropic 或另一个第三方 API 并返回结果,不是项目自身 AI 的证据。一个 API wrapper 可能是一个有效的产品,但它并不能使该项目成为 DecAIHub 所评估意义上的 AI 项目。这个 AI 属于供应商,而非项目。
如果一个项目应用了自己的微调、把第三方输出与专有模型相结合,或添加了可度量的后处理,情况就不同了。关键问题是:项目是否在原始 API 所提供之外,增添了可验证的 AI 层面价值。如果整个“AI component”只是一个带系统提示词的单次 API 调用,那么 AI reality 就属于供应商。
仅在代币名称或品牌中带“AI”
如果一个项目与 AI 的唯一关联是其代币代号、域名或品牌中的“AI”一词——背后没有任何技术实现——那么这是定位,而非证据。
代币代号是一个标签,而非一项功能。DecAIHub 把命名当作中性信号——它既不增益也不削减证据评估。重要的是名称背后是否存在工件。
与一家 AI 公司的合作
一则合作公告(例如“与 NVIDIA 合作”或“与 OpenAI 集成”)至多是 Tier-2。它显示的是关联,而非项目内部存在一个可工作的 AI component。合作并不能替代代码、文档或演示。
合作的程度从深度技术协作(联合研究、共同开发的模型)到松散的从属关系(加速器成员资格、被列入合作伙伴名录)不等。加密-AI 领域大多数已宣布的合作都偏向松散的那一端。只有带有可验证技术产出的合作才能贡献于证据图景,而即便如此也只是作为 Tier-2 上下文,而非 Tier-1 证明。
没有实现的“AI 路线图”或 AI 意图
一条写着“AI 功能将在 Q3 推出”的路线图条目显示的是意图(AI_0),而非可工作的 AI component。意图被记录为单个标志,但其本身并不表明存在一个可工作的 AI component。ai_score 公式上限为 3,所以单凭 AI_0 贡献很小。
计划会变动、延期或被取消。DecAIHub 通过 AI_0 标志记录官方的 AI 意图,以把已宣布 AI 抱负的项目与尚未宣布的项目区分开来。但该标志是底线,而非上限——它最多贡献 ai_score = 1,而且仅当意图来自 Tier-1 来源时。
没有可验证 AI 后端的演示
一个精致的前端,宣称展示 AI 结果,却没有提供任何方式来验证其背后确有一个 AI 模型在运行——没有 API 文档、没有模型版本、没有可复现的输出——这不是充分的证据。
一个可验证的演示允许不同的输入并产生语境多样的输出。它可能暴露一个 API 端点、显示模型版本信息,或提供沙盒模式。相比之下,一个展示遵循脚本化路径,或无论输入如何都产生相同的输出。DecAIHub 寻找的是前者;后者会被记下,但除 AI_0 之外不贡献于任何证据标志。
没有具体细节的“微调模型”
宣称拥有一个微调模型并不是证据,除非项目指明:基础模型、用于微调的数据集、相对基础模型的改进,以及带方法的质量指标。
一个可信的微调宣称会命名基础模型、描述训练数据,并在一项明确定义的任务上展示可度量的改进。没有这些具体细节,“我们微调了一个模型”与“我们使用了一个模型”就无从区分。
反模式参考表
| 反模式 | 它宣称什么 | 它实际证明了什么 |
|---|---|---|
| 网站上的“AI 驱动” | 项目拥有 AI | 没有 Tier-1 工件就什么都没证明 |
| 空的 GitHub 代码库 | 开源 AI 代码 | 代码库存在;AI 代码不存在 |
| 没有上下文的“95% 准确率” | 高质量的 AI | 陈述了一个数字;有效性未知 |
| OpenAI API 包装器 | 项目“使用 AI” | 项目调用了别人的 AI |
| 代币名称中的“AI” | 与 AI 相关的项目 | 做了一个命名选择 |
| 与 AI 实验室的合作 | AI 能力 | 存在一种关联 |
| “Q3 路线图中的 AI” | 未来的 AI component | 仅有意图(AI_0) |
| 精致的演示,无后端证据 | 可工作的 AI | 构建了一个前端 |
| 没有细节的“微调 LLM” | 专有模型 | 做了一个宣称 |
如何把虚假信号与弱但真实的证据区分开
并非每个未达 Tier-1 标准的工件都毫无价值。有些工件是真正弱的证据——单凭自身不充分,但在组合中有意义。下表厘清了这一边界:
| 工件 | 虚假信号(无证据价值) | 弱但真实的证据 |
|---|---|---|
| 代码库 | 仅空壳或样板 | 包含一些 AI 代码,但缺少测试或发布 |
| 指标 | 没有方法的数字 | 带部分方法的数字(缺少四个上下文问题之一) |
| 演示 | 输出固定的脚本化展示 | 没有 API 文档或模型版本的交互式演示 |
| 合作 | 合作伙伴页面上的一个 logo | 联合技术产出(合著论文、共享代码库) |
| 文档 | 没有技术深度的营销白皮书 | 描述了架构但缺少版本细节的技术白皮书 |
弱证据在被其他工件印证时,可能有助于置位单个标志。虚假信号无论数量多少都不贡献——十个空代码库并不比一个更强。
DecAIHub 如何记录这些情况
当未找到可工作 AI component 的 Tier-1 证据时,项目的 ai_score 保持在 0 或 1。如果在缺乏证据的同时 AI 仍在营销中被积极推广,卡片上可能会被置位一个 AI-washing 标志。
这不是指控——而是对截至验证日期宣称与工件之间差距的记录。当新证据出现时,卡片会更新。
ai_score 对二元标志 AI_0 到 AI_4 求和(上限为 3)。一个只表现出本页反模式的项目,通常会有 ai_score = 0 或 ai_score = 1(如果 AI_0 通过官方路线图被置位),这直接限制了它最高的 DecAI Fit。
这份清单本身无法证明什么
- 表现出一个或多个反模式并不是对项目的指控。许多早期项目缺少工件,仅仅因为技术尚未公开。
- 反模式的缺失并不能证明 AI 是真实的。一个项目可以避开本清单上的每一个危险信号,却仍然没有可工作的 AI component。
- 这份清单是一个快照——随着项目成熟并发布新工件,反模式可能消解。
常见问题
为什么代币名称中带“AI”不算作证据?
代币名称是一个品牌决策,而非一项技术工件。任何项目都可以选择一个包含“AI”的代号,而不构建任何技术。DecAIHub 基于可检视、可验证的工件——代码、文档、演示、带方法的指标——来评估证据。一个名称不满足其中任何一条标准。代币名称会作为元数据记录在项目卡片中,但不影响五个 AI reality 标志(AI_0 到 AI_4)中的任何一个。
与 NVIDIA(或另一家 AI 公司)的合作是 AI 的证据吗?
不是。一则合作公告至多被归类为 Tier-2——它提供上下文,但并不能证明项目内部存在一个可工作的 AI component。合作的深度差异很大:从深度的共同工程努力,到简单的“生态系统成员”列名。除非该合作产生了可验证的技术产出(一个共享代码库、共同发表的研究、一个共同维护的部署),否则它仍是一种关联,而非证据。如果存在一项 Tier-1 发现,它可以为其提供支持,但无法取代它。
那些在路线图中承诺 AI 功能的项目呢?
来自官方 Tier-1 来源(项目自己的博客、文档或治理提案)的路线图条目,会通过 AI_0 标志被记录,该标志捕捉“已声明的 AI 意图”。这把 ai_score 置为至少 1,把该项目与完全没有提及 AI 的项目区分开来。然而,路线图是一个计划,而非一个实现。AI_0 标志是可能的最低正向信号,而单凭它,由于 ai_score 上限规则,会把 DecAI Fit 限制在 6 分中最多 3 分。当路线图里程碑被交付、可验证的工件出现时,卡片会更新,更高的标志可能被置位。
一个项目能否表现出多个反模式,却仍然拥有真实的 AI component?
能。反模式表明特定工件不构成证据——它们并不能证明技术的缺失。一个项目可能在营销实践上糟糕、指标宣称含糊,同时却运行着一个真实但未在公开充分记录的 AI 系统。DecAIHub 评估的是评审时可验证的内容。如果底层技术存在但无法被外部检视,它就无法被评分——而项目则被鼓励发布更新其卡片所需的工件。
外部参考
- OECD AI Policy Observatory — AI classification framework —— 一个用于理解 AI 系统如何在各司法管辖区被定义、分类和治理的国际资源。
- Papers With Code — state-of-the-art benchmarks —— 一个追踪 AI 基准结果、附有关联代码和方法的社区资源;有助于理解“带方法的指标”在实践中的样子。
- Stanford HAI — AI Index Report —— 一份追踪 AI 研究、开发和部署趋势的年度报告;为对照更广阔的格局评估 AI 宣称提供了背景。
No comments to display
No comments to display