如何判断一个项目是否真的拥有 AI
注意:本文档是英文原版的自动翻译。
如何判断一个项目是否真的拥有 AI
你正在看一个声称使用人工智能的加密项目。网站上写着“AI 驱动”。路演文档提到了神经网络。代币名称里带有“AI”。但你如何知道这些声明背后是否存在一个真实、可运行的 AI 组件,还是“AI”只是一个营销标签?
这是 DecAIHub 被创建出来要回答的核心问题。真正的人工智能与 AI-washing 之间的区别从表面上是看不出来的。营销团队知道“AI”是加密领域最强大的关键词之一,许多项目无论其技术实际做什么都会使用它。真正的创新与空洞的声明并存,如果没有一套结构化的方法,要把它们区分开来,对每个项目都需要花费数小时的独立研究。无论你是想避开炒作的新手,还是需要快速筛选框架的资深参与者,本指南都为你提供了一套实用工具包。
**简而言之:**检查 AI component 字段是否具体、查看 ai_score 以获得量化结论、审查证据层级、将声明与可验证的工件进行比对、应用五问测试,并留意暗示 AI-washing 的危险信号。
五问测试
在深入进行完整的卡片审查之前,先做一个快速诊断。每个问题都针对 AI 验证的某个特定层面。
| # | 问题 | 有力的回答 | 薄弱的回答 |
|---|---|---|---|
| 1 | 这个 AI 究竟做什么? | 说出模型类型、任务和机制 | “我们用 AI 来优化一切” |
| 2 | 我在哪里能看到它运行? | 实时演示、公开 API、录制的输出 | “即将推出”或没有任何工件的私有测试版 |
| 3 | 代码或模型在哪里? | 含训练/推理代码、模型卡的公开仓库 | 空仓库、教程的复刻、无任何公开内容 |
| 4 | 你们如何衡量质量? | 指明基准、数据集、版本、日期 | “业界最佳准确率”或没有指标 |
| 5 | 如果移除 AI 会发生什么? | “产品没有它就无法运行” | “它仍然能用,只是没那么智能” |
问题 1-2 测试具体性和存在性:项目能否描述并演示它的人工智能?问题 3-4 测试可验证性和严谨性:外部人员能否检查证据?问题 5 测试核心性:人工智能在架构上是必不可少的还是装饰性的?
对全部五个问题都给出有力回答的项目,很可能拥有较高的 ai_score。三个或更多薄弱回答则需要仔细审视。
分步验证指南
第 1 步:检查 AI component 字段
项目护照(Project Passport)中的 AI component 字段描述项目内部具体的人工智能技术。它是衡量实质内容的最快单一指标。
像 inference engine for LLM routing 或 AI agent platform (workflows/tools/KB) 这样具体的取值,能告诉你这个 AI 实际做什么。特殊取值则发出缺口信号:positioning only 意味着人工智能出现在营销中,但尚未确认有可运行的组件;none 或 unknown 意味着从可用来源中未检测到人工智能。这些不是永久性的结论;它们反映的是审查时可获得的证据。请参阅 Why absence of evidence is not absence of technology。
第 2 步:检查 ai_score
ai_score(0-3)量化了一个项目的人工智能声明存在多少可验证的证据。它是 DecAI Fit 指标的一部分,按 min(3, AI_0 + AI_1 + AI_2 + AI_3 + AI_4) 计算——五个二元标志,上限为 3。
| ai_score | 含义 |
|---|---|
| 0 | 无已验证的人工智能存在。DecAI Fit 被强制为零。 |
| 1 | 存在 Tier-1 的意图声明,但未验证有可运行的人工智能。 |
| 2 | 部分证据:人工智能被描述过,且存在一些工件或演示。 |
| 3 | 有力证据:公开代码、基准测试、架构文档、可运行的演示。 |
如果 ai_score = 0,则该人工智能声明目前缺乏依据。这不是对该项目的指控,而是没有 Tier-1 来源确认该声明。
第 3 步:寻找 Tier-1 证据
**Tier-1 证据**由最接近项目实际状况的工件组成:
- 公开代码仓库,含与人工智能相关的代码:模型定义、训练脚本、推理流水线,而不只是一个 README。
- 技术文档,描述模型架构、数据流水线或系统设计,并附有版本和日期。
- 模型工件,例如已公开的权重、模型卡,或 Hugging Face 上的条目。
- 基准测试,附有方法论、对比基线、数据集说明和版本信息。
- 可运行的演示,其中 AI 组件产生可观察、可测试的输出。
Tier-2(聚合器描述、访谈)提供有用的背景,但不应作为确认人工智能的唯一依据。Tier-3(网红帖子、公关文章、传闻)权重极小。
第 4 步:将声明与工件交叉核对
将项目所说的内容与能够独立验证的内容进行比较。一个声称拥有“用于实时预测的专有神经网络”的项目,应当有代码、文档,或至少有一个演示来展示这种能力。当营销语言雄心勃勃但可验证的工件却很单薄时,这一缺口本身就是一个信号。
常见危险信号
某些模式暗示人工智能声明可能并不真实。其中任何一条本身都不构成对该项目的指控,但每一条都值得更深入的调查。
- **仅有营销的 AI。**名称和路演文档里有“AI”,但任何地方都没有描述架构、模型名称或数据流水线。这是 AI-washing 最常见的形式。
- **空的或不相关的仓库。**存在 GitHub 链接,但不含任何与人工智能相关的代码、没有发布版本,或代码与所声称的组件无关。
- **没有方法论的指标。**像“99% 准确率”这样的声明,却没有指明基准、数据集、评估方法或版本。
- **纯粹的 API 包装器。**整个“AI”就是对第三方 API 的一次调用,其上没有任何专有逻辑、微调或特定领域处理。
- 上线后才贴上的 AI 品牌。“AI”是在代币上线之后才加入项目名称的,且没有相应的技术变更。
- **没有版本控制或时间线。**与人工智能相关的声明缺乏日期、版本号或可追溯的开发历史。
- **循环证据。**项目引用自己的营销材料作为证明,或引用仅仅重复项目新闻稿的文章。
- **永久的路线图。**人工智能功能总是“即将推出”,尽管项目已存在数月,却没有交付的里程碑或公开的工件。
- **复杂度不匹配。**项目声称具备先进能力(可验证推理、联邦学习),但团队和代码库与那种复杂度不相称。
常见积极信号
真正的人工智能项目具有可识别的特征。一个项目展现出的这些特征越多,它的人工智能声明就越可能有实质内容。
- **具体、可测试的声明。**项目说明了模型架构、训练方法和数据来源,细节足以让技术审查者进行评估。
- **活跃、相关的代码。**含有模型训练或推理代码、有意义的提交历史、测试以及近期活动的公开仓库。
- **可复现的指标。**性能结果包含基准名称、数据集、方法论、版本和日期。
- **架构文档。**技术文档包含系统设计、数据流,以及随时间演进的带版本署名。
- **可运行、可测试的演示。**一个任何人都能独立测试的、产生人工智能输出的实时应用或公开 API。
- **拥有可验证 AI/ML 背景的团队。**已发表的论文、开源贡献,或可验证的职业经历。
- **模型卡或数据表。**项目遵循既定的模型文档实践:预期用途、局限性、训练数据、评估结果。
现实世界中的模式
为了建立直觉,请思考以下几种对比鲜明的原型。不点名具体项目;目标是识别结构性差异。
**模式 A:证据有力的真正人工智能。**活跃的仓库,含模型训练代码、评估脚本和有文档记载的推理流水线。基准测试附有方法论公开。实时演示产生可观察的人工智能输出。ai_score 为 3。
**模式 B:证据部分的早期人工智能。**官方文档描述了人工智能将做什么,并附有包含 AI 里程碑的路线图。存在一个原型,但无法公开访问。尚无基准测试。ai_score 为 1-2。这不是 AI-washing;而是一个证据尚未成形的早期项目。
模式 C:毫无实质的 AI-washing。“AI”在品牌中很显眼。路演文档提到“专有神经网络”。除营销外没有任何技术文档。没有仓库、演示、基准测试或模型工件。ai_score 为 0。
**模式 D:被包装成专有人工智能的 API 包装器。**AI 组件完全由对第三方提供商的调用构成。没有微调、没有定制流水线、没有特定领域处理。这不是对该项目的指控,但将其称为“专有人工智能”歪曲了技术实际情况。请参阅 Automation vs real AI component。
DecAIHub 如何解决这一问题
DecAIHub 之所以存在,是因为回答“这个 AI 是真的吗?”不应当对每个项目都需要花费数小时的独立研究。该平台使用一套结构化框架,将真正的人工智能与 AI-washing 区分开来。
DecAI Fit
DecAI Fit 是一个综合指数(0-6),衡量一个项目与去中心化人工智能原则的契合程度。它结合了四个维度:AI reality、Onchain necessity、Token necessity 和 Evidence。
关键规则:如果 ai_score = 0,那么无论其他维度如何,DecAI Fit = 0。没有经过验证的人工智能,就意味着该项目未达到去中心化人工智能分类的门槛。这一条规则就将最常见的 AI-washing 形式从评分系统中剔除了。
AI reality 标志(AI_0 至 AI_4)
AI reality 由五个二元标志构成,每一个都捕捉一个逐步更深入的验证层面:
| 标志 | 它检查什么 | 证据示例 |
|---|---|---|
| AI_0 | Tier-1 的人工智能意图声明 | 提及 AI 计划的路线图或官方文档 |
| AI_1 | 对 AI 所做之事的描述 | 解释模型功能的技术文档 |
| AI_2 | 可运行的演示或示例 | 公开演示、实时 API、录制的输出 |
| AI_3 | 指标与基准测试 | 在指名数据集上公开的 F1 分数及版本 |
| AI_4 | 架构与模型版本 | 架构图、模型卡、版本历史 |
五个标志全部设为 1,意味着有力的、多层次的真实人工智能证据。仅 AI_0 = 1,意味着声明了意图,但尚无任何可验证的内容。
Tier-1、Tier-2、Tier-3 证据体系
项目卡片中的每一项声明都建立在分类来源的基础上:
- **Tier-1(证据):**代码、合约、官方文档、审计、链上事实。权重最高。
- **Tier-2(背景):**聚合器描述、生态目录、分析仪表盘、访谈。可用于交叉核对,但作为唯一证明不充分。
- **Tier-3(噪声):**网红帖子、公关文章、传闻、无来源的声明。如果仅存在 Tier-3 来源,DecAI Fit 上限为 2。
这一层级结构确保了仅凭营销材料无法抬高一个项目的评估。
AI-washing 检测
DecAIHub 不会给项目贴上指控性或开脱性的标签。相反,它衡量声明与证据之间的差距。当营销声明显著超出可验证的工件时,这一差距就会在卡片中显现出来:一个大胆的 AI 用例搭配 positioning only 或 ai_score = 0,就是一个可衡量的、客观的信号。读者自行得出结论。
快速验证清单
| 检查项 | 看哪里 | 期望看到什么 |
|---|---|---|
| AI component 的具体性 | AI component 字段 | 具体机制,而非流行词 |
| AI 分数 | DecAI Fit 中的 ai_score | 任何已验证的 AI 都应高于 0 |
| 证据层级 | 证据表 | 强声明对应 Tier-1 工件 |
| 代码存在性 | 链接的仓库 | 含提交历史、与 AI 相关的代码 |
| 指标质量 | 文档、基准测试 | 方法论、数据集、版本、日期 |
| 演示可用性 | 产品链接、公开 API | 可观察的人工智能输出 |
| 团队 AI 专长 | 团队部分、已发表的论文 | 可验证的 ML/AI 背景 |
| 版本控制 | 文档、更新日志 | 日期、版本号、历史 |
仅靠验证本身不能证明什么
即使是彻底的验证也有其局限:
- **高 ai_score 并不意味着 AI 很好。**它意味着存在可验证的工件。质量是另一个问题。
- **高 ai_score 并不意味着项目会成功。**技术价值与可行性是不同的维度。
- **低 ai_score 不是对该项目的指控。**有些项目拥有真实的技术,但文档很差或采用封闭的开发模式。
- **验证反映的是某一时间点。**评估都标注了日期(
Last verified),并在出现新证据时更新。 - **AI 验证不评估商业模式、团队质量或市场契合度。**这些都相关,但不在 AI reality 评估的范围之内。
常见问题
我能多快验证一个加密项目是否拥有真实的 AI?
使用 DecAIHub 上的项目卡片,基本检查不到五分钟。查看 AI component 字段、ai_score 和证据层级。如果 AI component 写着 positioning only 且 ai_score = 0,你就已经有了一个强烈的信号。结合五问测试和仓库审查的更深入检查需要 15-30 分钟。
如果一个项目在 GitHub 上有 AI 代码,但没有可运行的产品,怎么办?
代码是一个积极信号,但它需要背景。它是否在被积极维护?它是否与所声称的产品相关?一个含有两年未更新的训练脚本的仓库,或看起来与项目所述功能无关的仓库,比一个活跃、文档完善、带有 CI/CD 和近期提交的代码库证据更弱。
拥有演示能证明 AI 是真的吗?
演示是有力的证据(它会设置 AI_2 标志),但并非决定性的。它可能在幕后使用第三方 API,或只展示一个狭窄的原型。最有力的验证是将演示与代码、文档和指标相结合:多个独立层面讲述一个一致的故事。
一个项目能否在没有开源代码的情况下在 DecAI Fit 上获得好分数?
可以。开源代码是最有力的 Tier-1 证据,但不是唯一一种。一个项目可以通过详细的技术文档、已公开的基准测试、可运行的演示和模型工件,获得有意义的 ai_score。然而,在没有任何 Tier-1 证据的情况下,治理上限会限制最高分。
加密领域最常见的 AI-washing 形式是什么?
最常见的模式是仅有营销的 AI:名称和材料里有“AI”,但没有技术描述、代码、演示或指标。第二常见的是 API 包装器:调用第三方人工智能提供商,并在没有微调或特定领域逻辑的情况下将其呈现为专有技术。
一个项目有可能拥有真实的 AI 但 DecAI Fit 却很低吗?
可以。DecAI Fit 衡量的是可验证的证据,而不是封闭门后技术的实际状态。一个拥有复杂人工智能却什么都不公开的项目会得到低分,因为没有任何可供验证的东西。DecAI Fit 在设计上就奖励透明度。当这样的项目后来公开了工件时,分数就会更新。
另请参阅
- What is an AI component
- AI component vs use case
- What counts as evidence of AI
- What does not count as evidence of AI
- What is an API wrapper
- Automation vs real AI component
- AI-washing, onchain-washing and token-washing
- Why absence of evidence is not absence of technology
- What is DecAI Fit
- How to read a project card
- Tier-1, Tier-2 and Tier-3 evidence
- AI reality, Onchain necessity and Token necessity
外部参考
- Stanford HAI — Artificial Intelligence Index Report —— 关于人工智能研究状况和行业采用情况的年度数据。
- OECD AI Policy Observatory —— 国际人工智能治理框架与定义。
- MIT Technology Review — AI topic —— 关于人工智能进展和趋势的通俗报道。
- Hugging Face — Model Cards —— 用于公开模型信息和评估结果的文档标准。
- Papers With Code —— 涵盖各类人工智能任务的基准测试、数据集和最先进成果。
No comments to display
No comments to display