李航，张少华，林苑
我们每天都在使用大语言模型（Large Language Model，LLM）。一个明显的感受是，它们似乎真的能够理解我们的语言，虽然有时也会出现幻觉。另一方面，观察 LLM 输出的思维链，也就是其推理过程的语言表示，我们会感到它们好像真的能像人一样思考。
最近字节跳动的李航、张少华、林苑发表了一篇文章。论述：LLM 的语言和思考能力是怎样的能力？这些能力是如何通过其实现原理和方法、乃至工作机制形成的？
全文链接：https://github.com/hangli-hl/AI-Articles/tree/main
LLM 技术是人类创造出来的，其实现原理是清楚的，但其工作机制（Mechanics）仍未被充分理解。LLM 规模极其庞大，工作机制极其复杂，给对其能力的研究带来了很大困难。
ChatGPT 问世以来，已有大量关于 LLM 机制和特性的研究，特别是近年关于工作机制（或可解释性）的研究。这些工作从不同角度对这一 AI 的核心课题给出了一定程度的回答。但仍有许多问题有待今后的研究。
该文章将对 LLM 的基本原理和实现方法做了总结，也对 LLM 工作机制的研究进行简单的介绍，包括字节跳动做的 LLM 记忆机制的工作；在此基础上，对 LLM 的能力形成提出自己的看法。
引用：LLM记忆机制论文：Shaohua Zhang, Yuan Lin, Hang Li, Memory Retrieval and Consolidation in Large Language Models through Function Tokens, 2025. https://arxiv.org/abs/2510.08203
1 主要观点
文章阐述了以下主要观点。
LLM 学习到的是语言使用和推理的模式，重要的是学到了其高阶模式。 LLM 的学习属于机器学习，其学习得到的内容本质上是数据中的统计规律，或者说数据中的模式（Patterns）。语言数据内容丰富，包含了词汇、语法、语义、语用信息和世界知识。我们可以看到，LLM 不仅学习到了与词汇和语法相关的低阶模式，而且也学习到了与语义、语用和世界知识相关的高阶模式（Higher Order Patterns）。之前的语言模型往往做不到这一点，而这正是 ChatGPT 以及后续的 LLM「涌现」出来的能力。因此，认为 LLM 仅仅学到了语言的形式而没有学到内容的观点（例如后述乔姆斯基的看法）并不能令人信服。
可以用 Next Token Prediction (NTP) 来概括其基本实现原理，但整体能力是由策略、模型、算法及数据这几个要素共同决定的。 LLM 的学习和推理的过程是 NTP，但这只是表面的形式，其具体的实现方法以及其特点更为重要。预训练中使用的极大似然估计（等价于数据压缩）是估计词元序列数据的概率分布。后训练的强化学习旨在微调模型，使其成为最优词元序列生成的策略函数。作为模型的 Transformer 具有极强的语言和知识表示能力。随机梯度下降的优化算法则能帮助找到具有良好泛化性的解。LLM 的关键在于对这些技术的系统整合与规模化实现。有观点将 LLM 的成功简单归因于 NTP，这是过于简单化的理解。
LLM 的内部机制已得到一定的解析和理解。 近年 LLM 可解释性研究取得了一定进展，现在 LLM 对我们来说已不再完全是黑盒。LLM 中的特征可以通过 SAE 等工具提取出来，特征之间形成的回路也可以利用 CLT 等工具追踪。字节跳动最近的工作进一步揭示了 LLM 中特征在学习过程中被记忆、在推理中被检索的规律。随着未来研究的不断深入，LLM 的工作机制会越来越多地被我们解析和理解。
2 LLM 的工作机制
LLM 的研究可以从三个视角进行：机器学习方法与理论、外部提示实验分析、内部工作机制研究。若将 LLM 比作人脑，工作机制的研究则对应着脑科学实验。
2.1 特征叠加
神经网络的每一层上都可能存在着「特征叠加」（Superposition）现象。传统的观点认为，一个神经元表示一个特征。然而，大量实验表明，这种理想化的情况在实际网络中比较少见。相反，神经元与特征之间往往呈现的是多对多的对应关系：即一个神经元参与表示多个特征，一个特征由多个神经元共同表示。
图 1：LLM 的语言和思考能力、工作机制、实现原理和方法之间的关系。
Anthropic 研究团队提出了特征叠加假说（Superposition Hypothesis）。其核心思想是：通过特征叠加，神经网络的一层神经元可以近似表示远大于其数量的特征，代价是特征之间存在一定程度的干扰。
神经网络的一层（称为实际层）可以表示为：
其中，
是输入向量，位于输入空间中；
是权重矩阵；
是偏置向量；
是输出向量或特征向量；ReLU 是激活函数。
特征叠加理论指出，存在一个更宽的假想神经网络层，使用更多神经元来显式表示大量的特征：
其中，
是特征向量，其每一维对应一个特征，且满足
，即宽层的维度远大于实际层的维度；
和 
是权重矩阵和偏置向量。
重要的是宽层的特征向量 
是稀疏的，而实际层的特征向量 
是稠密的。稀疏性意味着对于每个输入，只有少数特征被激活（例如，一万个特征中只有几十个被激活），使得不同特征之间的干扰较小。
特征叠加假说认为，宽层与实际层之间存在近似等价关系。具体而言，两者都能通过线性变换近似复原输入向量 
，得到近似重建 
，如图 2 所示。因此，可以认为，实际的网络中，稀疏的特征向量 
被压缩到了稠密的特征向量 
之中。稀疏的特征向量 
是近乎相互独立的（非叠加的），稠密的特征向量 
是被叠加的。
图 2：原始的前馈神经网络与近似等价的更宽的神经网络。
高维几何理论为宽层的存在性提供了一定的保证。在相关定义的条件下，
维空间中近乎正交的基向量个数可以达到
的指数级。假设
是输入空间的一组近乎正交的基向量，则输入向量可近似分解为：
这里每一个基向量 
和其激活值 
对应一个特征。基向量近乎正交，特征向量稀疏，就能很好地表示输入向量，并且减少特征之间的干扰。
特征叠加假说认为，深度学习的方法能够达到这样的效果，也就是实际层（稠密特征向量）实现了对宽层（稀疏特征向量）的压缩，或者说实际层（稠密特征向量）隐式地蕴含了宽层（稀疏特征向量）。这主要有两方面的原因。
首先，一般的输入向量 
所包含的特征数量是稀疏的。例如，在处理「我访问了金门大桥」中的「桥」这一词元时，宽层特征向量 
中，可能只有少数几个特征被激活（如「金门大桥」、「旧金山」、「桥梁结构」、「旅游景点」等），其他特征取值均为零。这种稀疏性保证了大量近乎正交特征之间的干扰足够小，使得叠加机制切实可行。
其次，在训练过程中，神经网络通过梯度下降最小化损失函数。当网络面临「表示尽可能多的特征」与「使用尽可能少的神经元」这两个目标时，特征叠加成为一种自然的优化结果。另外，ReLU 激活函数的使用也促进了特征向量的稀疏化，因为较弱的激活值会被截断为零。
上述特征叠加假说的合理性，已在 Anthropic 的玩具模型（toy model）模拟实验中得到验证，并在后续稀疏自编码器（Sparse Autoencoder）的开发与应用中获得了进一步的支持。
2.2 SAE：特征分析
稀疏自编码器（Sparse Autoencoder，SAE）可以用于分析神经网络，发现其中具有可解释性的特征。在 LLM 的可解释性研究中，通常将其应用于 Transformer 的残差流，即在每层的输出表示向量上。
SAE 与特征叠加理论形成了互补关系。特征叠加可以被视为一种压缩过程：模型隐式地通过高维且稀疏的特征向量对输入向量进行表示。而 SAE 则可以被视为一种「解压」方法：将输入向量分解为高维且稀疏的特征向量。这种「压缩—解压」的关系，使 SAE 成为研究和分析特征叠加现象的重要工具。
SAE 由编码器（Encoder）和解码器（Decoder）组成。首先，编码器通过非线性变换将输入向量转换为高维且稀疏的特征向量：
其中，
是来自 LLM 某一层的残差流，
编码器权重矩阵，
是偏置向量，
是特征向量，满足
，即特征维度远大于输入维度。
解码器通过线性变换从特征向量重构原始输入向量：
其中，
是解码器权重矩阵，
是偏置向量。解码器采用线性变换（无激活函数），这一设计与特征叠加理论中的特征的线性组合假设一致。
SAE 的训练中在两个目标之间进行权衡：一方面，使重构向量 
尽可能接近原始输入向量 
；另一方面，引入
或近似 
正则化来促进特征向量 
的稀疏性。
在实际操作中，SAE 的训练需要从目标 LLM 中提取大量数据。将大规模语料输入到 LLM，收集模型在处理每个词元时产生的激活向量（如每一层的残差流）。这些向量
构成 SAE 的训练数据集。训练完成后，对于任意输入 
，编码器输出的 
通常呈现出较强的稀疏性。
通过 SAE 得到的稀疏激活特征与特征叠加理论的预测一致，即模型可能将远多于神经元数量的潜在概念编码在神经元中。例如，研究者在对大语言模型进行分析时，已经成功提取出数十万到百万量级的特征，其中一些特征具有明显的语义含义，例如与实体（如「金门大桥」）或行为（如「谄媚」，Sycophancy）相关的特征。
分析表明，大语言模型中的特征往往呈现出一定的层次化结构：浅层基本是表示输入的词法与简单语法的特征；中间层有大量复杂语法和基本语义的特征；深层主要是复杂语义、推理实现和输出表达的特征。
2.3 记忆机制
字节跳动的工作提出了功能词元假说，揭示了 LLM 的记忆机制的基本特点 。功能词元假说（Function Token Hypothesis）认为，LLM 中特征的记忆是围绕着功能词元展开的，特征在一个上下文的检索，也是通过功能词元进行的。
功能词元是指在训练语料中出现频率最高的词元，大部分对应于语言学中的功能词，在语法和上下文连接上起着关键作用。例如，冠词「the」、标点符号（逗号、句号）、换行符等。与之相对的是内容词元，表达明确且丰富的语义信息。统计表明，在大规模预训练语料中，前 100 多个高频词元就占了所有词元出现次数的大约 40%。
在 LLM 的预训练阶段，学习过程呈现出以功能词元为中心的显著特点。通过将训练损失按照功能词元和内容词元的四种组合进行分解观察，结果发现，「功能词元 → 内容词元」的损失函数下降得最慢。也就是说，根据功能词元来预测下一个内容词元是最困难的。从语言学的角度看，这是合理的，因为功能词元往往标志着前一个语言单元（Chunk）的结束，要预测它之后的内容词元，需要对从开头到当前位置的整个上下文有准确的理解。可以推断，正是这种最难的预测任务，成为了驱动模型优化的主导力量。
另一个发现是功能词元在训练的过程中能激活大部分特征（在不同的上下文激活不同的稀疏特征）。将功能词元和特征之间建立二部图。如果一个功能词元在某个上下文激活了某个特征，就在两者之间建立一个边。随着训练的深入，二部图上的边不断增加。最后，少量功能词元能与大部分特征之间建立联系，前 10 个高频词元激活 70% 的特征，也就是说，这些功能词元能（在不同的上下文）激活大部分特征。这里也存在着幂律分布。
在推理过程中，功能词元发挥着记忆检索的核心作用。它们能从上下文中动态地激活最具预测性的特征，从而指导下一个词元的生成。例如，如图 3 所示，当提示为「Answer the question in Chinese: What is the capital of Russia?」时，功能词元（如冒号「:」和换行符）会激活上下文中「用中文回答」和「俄罗斯」等特征，同时抑制无关特征，最终引导模型用中文生成答案「莫斯科」。这种动态的特征选择与组合能力，正是功能词元区别于内容词元的关键特性。
图 3：LLM 推理过程中功能词元发挥着记忆检索的核心作用。
功能词元之所以在 LLM 中发挥如此关键的作用，是训练目标、学习算法、模型架构和语言特性共同作用的结果。首先，下一词元预测的训练目标（交叉熵损失）要求模型最大化预测准确性，而梯度下降算法总是优先降低损失最大的部分。其次，Transformer 架构中的前馈网络层能将知识（特征）进行很好的表示和记忆，自注意力层能将低阶的知识（特征）有效地组合成高阶的知识（特征）。最后，自然语言本身的结构特性起到了决定性作用，文本总是被功能词元分割成嵌套的 Chunk（可以是短语、句子或段落）。因此，对功能词元之后的预测，需要理解从文本开头到该位置的整个上下文语义。这是一项极具挑战性的任务，促使功能词元在训练中获得连接大部分特征的能力，并在推理时重新激活最具预测性的特征。
功能词元假说对 LLM 训练实践具有深刻启示。其中最重要的一点是训练数据的格式至关重要。多项研究的结果印证了这一点。在后训练阶段，仅需少量训练步骤就能显著提升模型的指令遵循、思维链推理等能力。这可能是因为后训练通过调整功能词元的激活模式，激活了预训练期间已经习得的特征。例如，功能词元（如「thus」）在强化学习训练中能够显著提升推理性能。
2.4 CLT：回路分析
回路（Circuit）是指在 LLM 中跨层连接特征的计算图，用于表示模型中的特征是如何被激活和传播的。因为 SAE 只能看到单层的特征，具有较大的局限性。为了分析跨层的特征的连接和影响关系，研究者提出了 CLT（Cross Layer Transcoder，跨层转码器）方法。
CLT 的工作原理是：以某一层的残差流 
作为输入，模型将其映射到后续各层的残差流 
。通过这种方式，CLT 能够学习到一个跨层对齐的特征字典，捕捉不同层之间的特征影响关系。
CLT 在每一层都有一个类似 SAE 的特征抽取模块，但其优化目标有很大不同。每一层的输出是复现的后续各个层的残差流。它由非线性变换（对应编码器）、线性变换（对应跨层映射）以及线性解码变换组成：
其中，
是第 
层编码器权重矩阵，
是偏置向量；
是第
层解码器权重矩阵，
是偏置向量；
是将特征从第 
层映射到第 
层的跨层线性变换权重矩阵，
是偏置向量。通过跨层线性变换，
实现从第 
层特征空间到第 
层特征空间的线性投影。CLT 的训练目标由所有层的重构误差的最小化和稀疏性正则化组成。
基于 CLT 的分析结果可以构建归因图（Attribution Graph），直观地展示特征在模型各层之间的线性映射关系，帮助理解 LLM 内部的知识表示和计算机制。
归因图的构建基于训练好的 CLT 模型。给定一个具体的输入提示，首先运行原始 Transformer 模型，记录各层的残差流 
。然后，利用 CLT 提取每一层的稀疏特征 
，并通过跨层映射矩阵 
分析特征之间的映射关系。
归因图是一个有向无环图，表示从输入词元到输出词元的计算路径。在这个图中，节点代表模型中激活的特征或词元嵌入，而边则代表节点之间的影响关系。具体而言，如果特征 
在层 
的激活
，且通过跨层映射 
对特征 
在层 
的激活有显著贡献，则在图中添加从节点 
到 
的有向边。
为了提高归因图的可解释性，采用剪枝技术对图进行精简。通过设置阈值，只保留激活强度和贡献度显著的节点和边。进一步使用梯度回传，识别对最终输出贡献最大的路径。得到的精简归因图能够更清晰地展示模型中的特征激活和推理路径，揭示模型在特定场景中的核心特征回路。
图 4：基于 CLT 构建的归因图，用于分析 LLM 的内部计算机制。来源：anthropic blog：https://transformer-circuits.pub/2025/attribution-graphs/methods.html
3 LLM 的语言理解和推理
3.1 LLM 的能力
3.1.1 高阶模式
从其行为表现来看，大语言模型已展现出人类同等以上的语言与推理能力。以图灵测试为衡量标准，即考察其在对话中是否无法与人类区分，LLM 已达到了人类水平。
LLM 所习得的不仅限于语言的低阶模式，更涵盖了语言与推理的高阶模式。这一点在我们日常使用 LLM 时可以得到直观验证。例如，LLM 能够理解并执行「喜马拉雅山有多高，用英文回答」这类指令，体现了其语用能力；它还能够辨析「金门大桥与金拱门的关系」这类涉及概念异同的问题，显示出语义理解与世界知识的整合能力。
从内部机制的分析角度看，「金门大桥」、「谄媚」等概念特征在模型中的存在，同样揭示了 LLM 具备语义与语用层面的理解能力。
乔姆斯基曾批评 LLM 仅学习到语言的表层统计规律。然而，以上事实表明，这一判断并不成立。不过，这并不意味着 LLM 与人类语言能力完全等同。事实上，LLM 的语言机制与人类大脑存在显著差异。例如，人脑的语言理解依赖于布洛卡区与韦尼克区两个脑区的协同工作：前者主要负责语法处理，后者则承担词汇处理功能。
3.1.2 整体机制
大语言模型（LLM）的整体工作机制可以从训练方式、策略、算法和模型来理解（见图 5）。其训练方式通常包括预训练和后训练两个阶段，并通过两步训练融合，使模型在同一体系中同时具备语言理解、生成与推理能力。在机制上，LLM 基于自回归预测，即根据已有上下文逐步预测下一个词，这一过程也可以看作一种序列决策过程。
图 5：LLM 的机制可以从训练方式、策略、算法和模型来理解。
在预训练阶段，模型通过大规模语料学习统计规律，给定足够长的上文，下一个词元的概率分布往往会更加集中；而在后训练阶段，通过人类反馈或策略优化，使模型在相同上下文下更倾向生成最合理、最符合人类偏好的下文。
从技术实现上看，学习策略负责定义预测目标和优化方向，算法用于调整模型参数以达到最优目标，而模型结构则决定了表达能力，通过自注意力机制实现特征组合，通过前馈网络进行特征检测（非线性变换），并通过多层结构形成层次化表示。这些都对 LLM 的类人语言和推理能力起着重要作用。
模型性能的提升还体现出明显的规模效应：随着数据量、参数规模和计算资源的增加，模型能力会产生质的飞跃。同时，数据质量和训练设计（例如高质量语料和系统提示设计）也对效果至关重要。
这样训练得到的 LLM 中形成了大量的特征，表示着各种不同的概念，根据不同的上下文，这些不同的特征被激活，动态形成回路，实现复杂的语言处理和推理机制。
3.2 与人类能力的比较
表 1 对比了 LLM 与人类的能力。可以看出，LLM 在语言与推理任务上已具备与人类相当甚至超越人类的水平。然而，在其他能力维度上，两者不仅机制可能存在根本差异，其性能也并非简单可比。下面对此进行简要说明与讨论。
表 1: LLM 与人类能力比较
幻觉本质源于对事实的判断错误。LLM 自身无法解决幻觉问题。因为它学习的是语言数据中的统计规律。理论证明，在一定假设条件下，语言生成过程中一定会以一定概率产生幻觉。幻觉问题可通过其他机制加以缓解，比如，检索增强生成（RAG）。
人的思考包含多个方面，不仅涉及语言、推理和数学，还与五种感官（视觉、听觉、触觉、嗅觉、味觉）以及运动系统密切相关。具身认知假说认为，思考的过程并非纯粹的符号运算，而是基于身体的感知运动经验，在心智中进行模拟。当前的多模态大语言模型（MLLM）能够将语言推理与视觉、听觉等信息进行关联处理，但其推理过程通常发生在语言表示空间。这种处理方式与人类基于具身体验的、丰富的、有意识的思考有着本质区别。
最近也有一些工作尝试进行多模态推理，让模型能够「边看边想」；但这些方法仍属于比较初步的探索。因此，从具身认知的角度看，MLLM 的思考能力与人类仍有显著差距。
LLM 既不是基于形式逻辑规则（如命题逻辑）进行推理，也不是按照计算规则进行算术运算。它可以通过其生成机制模拟，呈现出一定的启发式推理和计算能力，但在处理复杂问题时，由于缺乏严谨性，容易产生错误。因此，LLM 在这方面存在局限性。
LLM 是否有创造力，还是一个开放式的问题，这也依赖于对创造力的定义。创新分渐进式创新和颠覆性创新。通过观察可以发现，LLM 应该也具备渐进式创新能力。而颠覆式创新，如相对论理论的建立，LLM 是否能够做到，目前尚无定论。Ilya Sutskever 认为 LLM 可以做插值（interpolation），但外推（extrapolation）是开放问题，也是类似的想法。
LLM 并不存在对应人的意识机制，虽然我们会感到与 LLM 对话时有与真人交互的感觉。意识是指人的心智中感受到的对内部身体和外部环境的知觉。意识是清醒时人脑处于的一种状态，与其相对的其他状态是深度睡眠、昏迷、死亡。意识是主观的，是每个人以自我为中心的精神活动，对我们每个人来说自己的意识是持续的、一贯的、稳定的。同时，意识又是客观的，它对应着人脑神经系统的高层次处理，由人脑神经系统的低层次处理支撑。全局工作空间理论（Global Workspace Theory）认为意识是脑内信息的全局广播。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com
