Skip to main content

什么是大语言模型（LLM）

注意：本文档是英文原版的自动翻译。

什么是大语言模型（LLM）

**大语言模型（LLM）**是一种在海量文本上训练的神经网络，使其能够理解和生成人类语言。想象一个博览群书到极致的助手，它吸收了数十亿页的书籍、文章、代码和对话。它不像人那样“知道”事物；相反，它学会了统计模式——哪些词和想法倾向于跟在哪些之后——其程度足以写出连贯的段落、回答问题、在语言之间翻译、总结文档，甚至对多步问题进行推理。

LLM 的决定性属性（也是其局限）在于它通过预测来工作。给定一个句子的开头，模型计算最可能的下一个词，然后是下一个，依此类推，一次一个 token。一个 token 大致是一个词或一个子词。通过把数千个这样的微小预测串联起来，LLM 可以产出文章、代码、诗歌或技术分析——而无需为每个任务进行显式编程。知名的 LLM 包括 GPT、Claude、Gemini 和 Mistral。大多数在营销中提到“AI”的加密人工智能项目，要么在内部使用一个 LLM、声称使用一个，要么在自己的界面背后包装一个第三方 LLM。理解 LLM 实际是什么——以及它不是什么——对于评估这些声明至关重要。

**简而言之：**LLM 是大多数现代基于文本的人工智能背后的引擎。在加密人工智能中，关键问题不是一个项目是否“使用 LLM”，而是它如何使用，以及它在其之上增加了什么专有价值。

工作原理

构建和使用一个 LLM 涉及几个不同的阶段。每个阶段都需要不同的资源、专长和数据——并且在评估一个加密人工智能项目时，每个阶段都代表着不同层次的 AI 深度。

阶段 1：预训练

预训练是模型学习语言基础的地方。在这一阶段，LLM 阅读数十亿个 token——取自书籍、网站、代码仓库、科学论文和其他文本来源的词和子词。模型调整其内部参数（权重），以越来越准确地预测序列中的下一个 token。

这一阶段是昂贵的。从零训练一个前沿 LLM 可能需要数千个专用 GPU 运行数周或数月，而最终的模型可能拥有数百亿乃至上千亿个参数。只有少数组织——资源雄厚的人工智能实验室——会例行地从零预训练 LLM。

阶段 2：微调

一个预训练模型很强大但很通用。微调通过在一个经过整理的、更小的、与某个特定任务或领域相关的数据集上对模型进行进一步训练，来收窄它的行为。例如，一个医疗 LLM 可能在临床笔记上微调；一个面向 DeFi 的模型可能在智能合约文档和链上数据上微调。

微调所需的算力远少于预训练，但仍然要求在数据选择、评估指标以及避免灾难性遗忘（模型在专门化的同时丧失通用能力）方面具备专长。

阶段 3：对齐与 RLHF

现代 LLM 通常在微调之后经历一个对齐阶段。**基于人类反馈的强化学习（RLHF）**是最常见的方法：人类评估者对模型输出进行排序，模型被训练为偏好人类评分更高的回应。对齐正是让模型遵循指令、拒绝有害请求并产生真正有用的答案（而非听起来合理的胡言乱语）的原因。

阶段 4：推理

**推理（Inference）**是生产阶段——当一个训练好的 LLM 接收一个提示并生成一个输出时。每当用户向聊天机器人发送一条消息时，底层的 LLM 就运行推理：它读取提示、通过其各层参数进行处理，并逐 token 地产生回应。

推理消耗算力（GPU 时间），但每次查询的成本远低于训练。大多数“使用 LLM”的项目只是在执行推理——往往是通过调用外部提供商的 API，而不是运行自己的硬件。

流水线一览

阶段 发生了什么 通常由谁完成 计算成本
预训练 从数十亿 token 中学习语言 大型人工智能实验室 极高
微调 把模型适配到某个领域或任务 人工智能实验室、资金充足的初创公司 中等
对齐（RLHF） 使模型安全且遵循指令 人工智能实验室 中等
推理 为用户提示生成回应 任何拥有 API 密钥或 GPU 的人 每次查询低

LLM 的关键特征

有几个属性定义了某个特定 LLM 的能力有多强：

  • 参数量 —— 模型中可训练权重的数量。更大的模型通常能捕捉更多细微差别，但训练和运行的成本更高。参数量范围从几十亿（小型开源模型）到超过一万亿（前沿模型）。
  • 上下文窗口 —— 模型在单次交互中能处理的最大 token 数。较短的上下文窗口意味着模型会“忘记”一段长对话的开头。现代 LLM 提供的上下文窗口从几千个 token 到超过十万个不等。
  • 架构 —— 大多数现代 LLM 都建立在 2017 年引入的 Transformer 架构之上。Transformer 使用一种称为自注意力的机制来衡量输入中所有 token 之间的关系，这正是它们能够处理文本中长程依赖的原因。
  • 训练数据 —— 预训练期间所用数据的质量、多样性和时效性，塑造了模型所知的内容。一个只在英文文本上训练的模型在其他语言上表现会很差；一个知识截止于某一年的模型不会知道此后发生的事件。

真实的行业示例

几个知名的 LLM 展示了该领域中各种各样的方法：

  • GPT（OpenAI）—— 一个闭源、多模态的 LLM，通过 API 提供。许多加密人工智能项目调用 GPT API，为其产品增加对话或分析功能。
  • Claude（Anthropic）—— 一个闭源 LLM，强烈强调安全和对齐。与 GPT 一样，它通常通过 API 访问。
  • DeepSeek-R1（DeepSeek）—— 一个以 MIT 许可证发布的开放权重 LLM。其强大的推理能力和开放的可获得性，使它成为微调以及希望本地运行模型或声称更深 AI 集成的加密人工智能项目的热门基础模型。
  • Mistral（Mistral AI）—— 一个以在较小参数量下实现强劲性能而闻名的开放权重模型系列，这使它们对预算有限的 GPU 项目而言切实可行。

这些名字频繁出现在加密人工智能项目描述中。当一个项目说它“使用 GPT”时，几乎总是意味着它调用 OpenAI API。当它说它“微调了 DeepSeek”时，则意味着更深的技术投入——尽管这个声明仍然需要可验证的证据。

开源 vs 闭源 LLM

方面 开源 / 开放权重 闭源
模型权重 公开可供下载 隐藏在 API 之后
检查 任何人都可研究、审计或微调 无法对内部进行外部审计
定制 可在自定义数据上微调、本地运行 仅限 API 参数（温度、系统提示）
成本结构 需要自有 GPU 硬件或托管 按 token 付费的 API 定价
示例 DeepSeek、Qwen、Mistral GPT、Claude、Gemini

对于加密人工智能项目，这一区分很重要：一个微调了开放权重模型并公开训练细节的项目，比一个未经修改地调用闭源 API 的项目展现出更深的 AI 深度。

为什么 LLM 在加密人工智能中很重要

许多加密人工智能项目在其白皮书、路演文档或产品描述中提及 LLM。这些声明差异很大：

  • “我们构建了自己的 LLM”——意味着预训练或大量微调，这需要可观的算力和专长。这是最深层次的投入。
  • “我们为 DeFi 微调了一个 LLM”——意味着对现有基础模型进行了特定领域的适配。比一次原始 API 调用更可信，但细节很重要。
  • “我们使用一个 LLM”——往往意味着用项目专属的提示调用一个外部 API（如 OpenAI 或 Anthropic API）。这是最浅层次的 AI 集成。

这三种情形代表着根本不同层次的 AI 深度，DecAIHub 通过其基于证据的方法论相应地对它们进行评估。

使用 API vs 构建自己的模型

方法 它意味着什么 AI 深度
API 调用 项目把提示发送给第三方 LLM（例如 OpenAI API）并返回回应 低——AI 属于提供商
提示工程 项目在第三方 LLM 之上设计专门的提示、链条或检索流水线 低至中——存在专有逻辑，但模型是外部的
微调 项目在自有数据集上适配一个开源基础模型（DeepSeek、Mistral、Qwen） 中至高——项目拥有一个经修改的模型
预训练 项目用自有数据和算力从零训练一个模型 高——对模型完全拥有

一个把用户提示传给商用 LLM 并返回回应的 API 包装器，与一个在链上交易数据上微调了 DeepSeek 的项目不是一回事。DecAIHub 在项目卡片的 AI component 字段中对它们加以区分。

它在 DecAIHub 项目卡片中出现的位置

在 DecAIHub 上审查一张项目卡片时，有几个字段与 LLM 用法直接相关：

  • AI component 可能提及“LLM”“fine-tuned model”“prompt engineering”或某个具体的模型名称。该字段描述项目实际拥有什么类型的人工智能，经 DecAIHub 审查者验证。
  • AI use case 描述 LLM 用于什么：生成、分类、摘要、智能体推理等。一个项目可能把 LLM 用于一个狭窄的任务（例如意图解析），也可能把它当作整个产品的核心引擎。
  • ai_score（DecAI Fit 的一部分）反映 LLM 用法在多大程度上附有 Tier-1、Tier-2 或 Tier-3 证据的文档记载。一个声称使用 LLM 却不提供任何可验证工件的项目，在这一维度上得分会很低。
  • AI reality 标志（AI_0 至 AI_4）指示可验证人工智能的总体深度，在许多项目中这由它们的 LLM 集成所锚定。

目标从来不是因为一个项目使用第三方 LLM 而惩罚它——许多有效的产品恰恰就是这样做的。目标是区分透明地调用 API 的项目，与把 API 用法歪曲为专有人工智能研究的项目。

仅 LLM 本身不能证明什么

  • 拥有一个 LLM API 密钥并不意味着项目“拥有 AI”。它意味着项目能够调用别人的 AI。
  • 在营销中提及“GPT”或“Claude”并不能证明专有的人工智能工作。成千上万的应用使用同一个 API。
  • 即使是一个微调过的模型也需要可验证的工件：训练数据的描述、评估指标、一个模型版本标识符，以及部署证据。
  • 庞大的参数量并不能保证更好的模型。训练质量、数据整理和对齐至少与原始规模同等重要。

请勿混淆

  • 推理（Inference） —— 运行一个训练好的 LLM 以产生输出。推理是使用 LLM 中的一步，而非 LLM 本身的同义词。
  • 训练（Training） —— 构建或适配一个 LLM 的过程。训练产生模型；推理使用它。
  • AI agent —— 一个自主系统，它可能把 LLM 用作其推理核心，但增加了感知、记忆、工具使用和动作。仅有一个 LLM 不是智能体。
  • 自然语言处理（NLP） —— 计算机科学中一个更广泛的领域。LLM 是 NLP 的一种（非常成功的）方法，但 NLP 还包括关键词提取、基于规则的解析和统计分类器等较旧的技术。
  • 基础模型（Foundation model） —— 一个更通用的术语，它包括 LLM，但也涵盖在图像、音频、视频或多模态数据上训练的大型模型。每个 LLM 都是基础模型，但并非每个基础模型都是 LLM。

常见问题

LLM 和聊天机器人有什么区别？

LLM 是一个模型——一组能处理和生成文本的训练好的参数。聊天机器人是建立在模型之上的产品。LLM 是引擎；聊天机器人是汽车。单个 LLM 可以为成千上万个不同的聊天机器人提供动力，每个都有自己的提示、界面和个性。反过来，聊天机器人不一定使用 LLM——较旧的聊天机器人依赖脚本化规则或简单的模式匹配。

所有人工智能项目都在使用 LLM 吗？

不。许多加密人工智能项目使用其他类型的机器学习：用于 NFT 生成的计算机视觉模型、用于交易策略的强化学习、用于区块链分析的图神经网络，或用于异常检测的传统 ML。LLM 在基于文本的应用中占主导，但它不是唯一一种人工智能。

微调一个 LLM 意味着什么？

微调拿一个预训练的 LLM，并在一个更小的、经过整理的、与某个特定任务相关的数据集上继续它的训练。目标是把模型专门化——例如，教它理解 DeFi 术语、解析智能合约，或以特定风格生成回应。微调比从零预训练更具成本效益，但仍然需要技术技能、合适的数据和算力资源。

如何判断一个加密项目是构建了自己的 LLM 还是使用 API？

寻找具体证据：已公开的模型权重或模型卡、有文档记载的训练数据、评估基准，以及对微调过程的描述。如果项目只引用一个知名模型名称（GPT、Claude）而不描述任何修改，那么它很可能在使用 API。DecAIHub 在 AI component 字段和证据层级中捕捉这一区分。

什么是开源 LLM？

开源（或开放权重）LLM 是其训练好的参数可公开供下载、研究和修改的模型。示例包括 DeepSeek、Qwen 和 Mistral。它们允许任何人微调、部署和检查模型，这提高了透明度并实现了独立验证——这两者在加密人工智能领域都是有价值的品质。

为什么 LLM 的规模（参数）很重要？

更多的参数通常使模型能够捕捉语言中更复杂的模式，这可以提升在困难任务上的性能。然而，规模本身并非决定性的。一个训练良好的较小模型可以胜过一个训练糟糕的较大模型。最重要的是参数量、数据质量、训练方法论和对齐调优的组合。

另请参阅

外部参考

No comments to display

Back to top