什么是数据集

注意：本文档是英文原版的自动翻译。

什么是数据集

**数据集（dataset）**是用于训练、评估或测试AI 模型的结构化数据集合。它是机器学习所依赖的原材料。没有数据集，模型就没有任何可供学习的内容，也无法衡量它是否有效。

可以把数据集想象成学生的教科书。如果教科书充满错误、缺章少节，或者用学生不懂的语言写成，那么无论学生多么有天赋，他都学不好。同样的原则也适用于人工智能：数据集的质量、规模、相关性和结构决定了任何模型所能达到的上限。在劣质数据上训练出的优秀架构只会产生劣质结果。这就是**垃圾进，垃圾出（garbage in, garbage out）**这一原则的由来，它至今仍是应用机器学习中最重要的单条规则。

**简而言之：**数据集是 AI 模型从中学习的、有组织的示例集合——而这些数据的质量直接决定了模型的质量。

数据集是如何构建的

一个完成的数据集看起来可能只是一个文件或一个排列整齐的数据库，但要做到这一点需要一条多阶段的流水线。每个阶段都引入了影响最终模型的决策。

采集

必须从与任务相关的来源收集数据。对于大语言模型而言，这可能意味着抓取网页、聚合书籍和学术论文，或者爬取代码仓库。对于面向加密领域的模型，这可能意味着收集区块链交易历史、协议文档、治理提案或社交媒体情绪。来源的选择决定了模型能学到什么、学不到什么。仅在英文文本上训练的模型在处理多语言查询时会失败。仅在历史市场数据上训练的模型会错过新的协议机制。

清洗

原始采集到的数据是有噪声的。它包含重复项、损坏的格式、编码错误、垃圾信息、个人可识别信息，以及不相关或有害的内容。**数据清洗（data cleaning）**会移除或修正这些问题。常见步骤包括去重（移除近乎相同的记录）、归一化（统一格式、日期和单位）、过滤（移除低质量或超出范围的示例）以及匿名化（剥离个人数据以遵守隐私法规）。清洗工作繁琐但至关重要——在未清洗数据上训练的模型会把噪声连同信号一起学进去。

标注

对于监督学习（supervised learning）——最常见的训练方法——数据集中的每个示例都需要附带一个正确答案。一张照片需要诸如“猫”或“狗”这样的标签。一笔交易需要诸如“欺诈”或“合法”这样的标签。一个句子需要一个情绪分数。这个过程被称为标注（labeling）（或注释）。

标注既昂贵又耗费人力。它通常需要人工标注员逐个审查示例，并按照详细的指南分配标签。质量通过冗余（每个示例由多名标注员处理）和标注员间一致性指标来保证。一些加密 AI 项目构建去中心化标注网络，参与者在其中注释数据并赚取代币奖励——不过激励性标签的质量必须经过仔细核验。

对于那些不需要标签或难以获得标签的任务，**自监督学习（self-supervised learning）**从数据自身的结构中提取训练信号（例如，预测句子中的下一个词，或重建图像中被遮挡的部分）。

划分

在训练开始之前，数据集会被划分为互不重叠的子集：

划分	用途	典型比例
训练集	模型从这部分数据中学习	70-90%
验证集	在训练过程中用于监控进度和调整超参数	5-15%
测试集	仅在训练后使用一次，用于衡量最终性能	5-15%

验证集和测试集绝不能泄漏到训练中。如果模型在训练期间看到了测试数据，评估结果就会变得毫无意义——模型实际上已经记住了答案。这种分离是值得信赖的基准与质量指标的基本要求。

版本管理

数据集不是静态的。随着新数据的采集，它会增长；随着有问题的示例被移除，它会缩减；随着标注指南的变化，它会演进。**数据集版本管理（dataset versioning）**会跟踪这些变化，以便训练过程能够被复现和比较。在某数据集 2.3 版本上训练的模型，应当产生与在 1.0 版本上训练的模型不同的结果，而且这种差异应当是可追溯的。DVC（Data Version Control）、Hugging Face Datasets 和 Git LFS 等工具帮助团队系统地管理数据集版本。

数据集的类型

数据集因其标注方式、创建者以及用途的不同而各异。理解这些类型有助于评估加密项目中的 AI 主张。

有标注 vs 无标注

有标注数据集为每个示例包含正确答案。有标注的图像数据集将每张图像与一个类别标签配对；有标注的文本数据集将每个句子与一个情绪分数或实体标签配对。有标注数据使监督学习成为可能，这是最常见且被充分理解的训练范式。
无标注数据集是没有注释的原始集合——网页文本、图像、交易日志、传感器读数。它们用于无监督学习（在没有引导的情况下发现结构），并作为自监督学习的起点，而现代LLM正是通过自监督学习进行预训练的。模型通过预测自身输入的部分内容（例如下一个词预测）来学习，而不是依赖外部标签。

大多数实用的 AI 系统两者并用：先在海量无标注数据上进行预训练，然后在针对特定领域的较小有标注数据集上进行微调。

公开 vs 专有

公开数据集对研究和开发开放可用。著名的例子包括 ImageNet（涵盖 20,000+ 类别的 1,400 万张有标注图像）、Common Crawl（用作许多 LLM 基础的 PB 级原始网页数据）以及 The Pile（由 EleutherAI 专门为语言模型训练汇编的 825 GB 多样化文本语料库）。公开数据集降低了进入门槛，但对所有人都可用——它们本身并不提供竞争优势。
专有数据集由特定组织采集、整理或授权，不公开共享。一家加密分析公司可能会构建一个由有标注 DeFi 交易组成的专有数据集。专有数据能够提供真正的竞争优势，但“专有数据”的主张在外部难以核验。如果不披露来源、方法论或样本统计数据，这一主张就无法验证。

合成数据集

**合成数据（synthetic data）**由算法或其他 AI 模型生成，而非从现实世界来源采集。生成式模型可能产生逼真的图像、文本样本或交易模式，以扩充真实数据集。当真实数据稀缺、采集成本高昂或受隐私法规限制时，合成数据非常有用。然而，合成数据带有风险：如果生成器存在偏差，合成数据就会继承这些偏差；并且完全在合成数据上训练的模型可能产生反馈循环（有时称为“模型崩溃，model collapse”），其中误差会跨代累积。

基准数据集

**基准数据集（benchmark datasets）**是为衡量特定能力而设计的标准化评估集。它们包含带有已知正确答案的固定测试集。模型针对这些基准进行评估，以产生可比较的分数。例子包括：

基准	领域	衡量内容
ImageNet	计算机视觉	图像分类准确率
GLUE / SuperGLUE	自然语言	跨多个任务的语言理解
MMLU	通用知识	跨 57 个学科的多任务准确率
HumanEval	代码生成	生成代码的功能正确性
Common Crawl	网页文本	用作训练数据；规模与覆盖范围

基准结果会出现在 DecAIHub 项目卡片中，作为 DecAI Fit 算法内 AI_3 标志（指标/基准/质量）的证据。

为什么数据集在加密 AI 中很重要

数据质量决定模型质量。在有噪声、有偏差或不相关数据上训练的模型，无论其架构多么精巧，都会产生有噪声、有偏差或不相关的输出。对于加密 AI 项目，这有着具体的影响：

在过时协议文档上训练的代理，会对当前合约参数给出错误答案。
仅在英文文本上训练的情绪分析器，在多语言的加密社区中会失败。
在不完整链上数据上训练的风险模型，会错过关键的交易模式。

在评估一个项目的 AI 主张时，数据集是关键的一环。一个描述了其数据来源、采集方法和质量控制的项目，比一个只提到“AI”却不解释模型从何学习的项目，展现出更深的 AI 深度。

加密 AI 中的去中心化数据

AI/数据类别中的若干模式将数据集与区块链和代币机制联系起来：

数据市场 —— 数据提供方在其中出售或授权数据集的平台，配有链上结算和溯源追踪。
激励性数据采集 —— 用代币奖励用户贡献数据（标注图像、注释文本、共享传感器读数）的项目。
联邦数据集 —— 数据保持分布在各参与者之间，从不汇集到单一位置。模型通过联邦学习就地在其上进行训练。
数据 DAO —— 集体治理、整理并将共享数据集变现的去中心化组织。

这些模式试图解决一个真实存在的问题：高质量的有标注数据成本高昂，且往往由少数大公司掌控。代币激励有可能让数据贡献民主化——不过激励性数据的质量必须经过仔细核验。

数据采集与标注

原始数据很少能直接用于训练。它必须经过采集、清洗、格式化，并且常常需要由人工或自动化系统进行标注。这条流水线——数据采集与标注——本身就是一个真实的 AI component，会出现在 DecAIHub 项目卡片中。

大规模标注既昂贵又耗费人力。一些加密 AI 项目构建去中心化标注网络，参与者在其中注释数据并赚取代币奖励。标签质量通常通过冗余（每个示例由多名标注员处理）和共识机制来保证。

数据集在 DecAIHub 项目卡片中的出现位置

数据集出现在 DecAIHub 项目卡片的多个部分：

AI component —— 与数据相关的值，例如“data collection”“data labeling”或“training data pipeline”，表明该项目积极地处理数据集，而不仅仅是消费预构建的模型。
Category —— 处于 AI/数据类别的项目专门聚焦于数据基础设施、市场或去中心化数据协调。
证据表 —— 数据集质量的 Tier-1 证据包括已发布的数据卡片、样本统计数据、采集方法论文档、授权信息，以及指向可公开访问的数据集或数据仓库的链接。
ai_score —— 在 DecAI Fit 算法内，一个展示出真实数据工作并附有已发布证据的项目，会带来更高的 ai_score。仅仅声称“专有数据”而没有可验证的产物则不会。

仅有数据集本身无法证明什么

**拥有数据并不意味着使用它的 AI 是真实的或优秀的。**一个项目可以采集庞大的数据集，却仍然没有可用的模型、没有推理流水线、也没有有用的输出。
**数据集规模不是质量的代名词。**一百万个标注错误的示例比一千个精心整理的示例更糟。
**声称“专有数据”不是证据。**如果不披露数据来源、采集方法或评估结果，这一主张就无法验证。请查看 Tier-1/2/3 证据框架。
**数据集无法解释为什么需要代币。**数据存储和访问本质上并不需要区块链或代币。
**采集数据不是训练。**一个拥有大型数据集但没有模型、没有训练流水线、也没有推理端点的项目是一个数据项目，而不是一个 AI 项目。

请勿混淆

**训练**是消费数据集的过程。数据集是输入；训练是操作。
**数据采集与标注**是产出数据集的流水线。它们相关但属于不同的阶段。
**AI/数据类别**对聚焦于数据基础设施的项目进行分类。数据集则是一个贯穿所有 AI 类别使用的概念。
**AI component**描述 AI 工作发生的机制。数据集为该机制提供输入，但它本身不是机制。
**基准与质量指标**使用特定数据集进行评估，但基准是评估流程，而非数据集本身。

常见问题

什么样的数据集才算好？

一个好的数据集与任务相关、足够大以覆盖问题空间、标注准确（如果是监督学习）、没有系统性偏差，并且有良好的文档记录。文档应包括数据来源、采集方法、标注指南、已知的局限以及版本历史。在实践中，一个更小但精心整理的数据集往往优于一个更大但有噪声的数据集。原则很直白：模型只能与它所学习的数据一样好。

什么是数据投毒？

**数据投毒（data poisoning）**是一种蓄意攻击，攻击者向训练数据集中注入恶意示例，以破坏模型的行为。例如，攻击者可能添加标注错误的图像，使分类器误判特定输入，或注入有偏差的文本，使语言模型产生有害输出。对于去中心化数据采集而言，数据投毒是一个严重的隐患，因为其中的贡献者可能是匿名的且受激励驱动。防御机制包括冗余标注、异常检测、贡献者声誉系统以及加密数据溯源追踪。

可以使用受版权保护的数据来训练 AI 吗？

这是一个尚无普遍答案的活跃法律问题。多起备受关注的诉讼正在检验在受版权保护的材料上训练是否构成合理使用。某些司法管辖区为出于研究目的的文本和数据挖掘提供了明确的例外。在实践中，大多数大语言模型是在包含受版权保护内容的网络爬取数据上训练的。披露其数据来源和授权条款的项目，比不披露的项目展现出更高的透明度。DecAIHub 将数据透明度作为证据框架的一部分进行评估，但不对版权作出法律裁定。

什么是合成数据集？

合成数据集由算法或其他 AI 模型生成，而非从现实世界来源采集。合成数据用于扩充真实数据集、填补真实数据稀缺时的空白，或通过用逼真但人工的替代品取代敏感记录来保护隐私。其风险在于合成数据可能继承并放大生成器模型的偏差。完全在合成数据上训练的模型还可能遭受“模型崩溃”——随着每一代合成数据进一步偏离原始分布，质量会逐步退化。

DecAIHub 如何评估数据集质量？

DecAIHub 不直接为数据集打分。相反，它会评估一个项目是否提供了数据工作的可验证证据，并将其作为整体 DecAI Fit 评估的一部分。对 ai_score 有贡献的证据包括已发布的数据卡片、有文档记录的采集方法、样本统计数据、公开仓库，以及在公认评估集上的基准结果。没有支撑性产物的“专有数据”或“海量数据集”主张被视为无法验证，不会提高分数。Tier-1/2/3 证据框架定义了什么算作证明。

另请参阅

外部参考

Hugging Face -- Datasets -- 最大的机器学习数据集开放仓库，为数千个数据集提供搜索、过滤、预览和文档。
Papers With Code -- Datasets -- 与基准结果和研究论文相关联的数据集目录，可按任务和领域搜索。
Stanford HAI -- AI Index Report -- 关于数据集增长、数据治理趋势以及数据在 AI 进步中作用的年度数据。
Google Research -- Dataset Search -- 专门用于检索网络上发布的数据集的搜索引擎，包括学术、政府和商业来源。
Wikipedia -- Training data -- 关于训练、验证和测试数据划分及其在机器学习中作用的基础性解释。