解读大型语言模型的难题

构建和训练大型语言模型需要复杂的机制，但要理解一个训练好的模型为何会如此表现，这本身就带来了一系列重大困难。大型语言模型（LLMs）所具有的庞大规模和复杂的架构使其具备了出色的能力，但同时也让它们难以解释其运行原理。与那些可以追踪特定特征或参数影响的较小、更简单的模型不同，大型语言模型更像是错综复杂、高维度的系统，其内部运作原理并不一目了然。

其中一个主要障碍是其庞大的规模。现代大型语言模型包含数十亿，有时甚至数万亿个参数。这些参数在数十甚至数百个层之间以高度复杂、非线性的方式相互影响。以一次单独的预测为例：追踪每个参数通过矩阵乘法、非线性激活函数（如GeLU或SwiGLU）、层归一化和注意力机制序列的确切贡献，这在计算上是不可行的，而且即便能做到，也可能无法得出人类可以理解的解释。最终的输出是这个巨大参数空间中细微而集体的相互影响的结果。

Transformer架构本身也增加了理解的难度。自注意力机制允许模型动态地衡量输入序列中不同词元的重要性。尽管将这些注意力权重（我们将在后面讨论）提供了一些线索，但这并非一个明确的解释。高注意力权重并不总是等同于对最终预测的因果重要性。此外，多头注意力设计明确地促使模型在并行子空间中学习不同的关系模式，这使得任何简单的解释变得碎片化。然后这些模式被结合并通过前馈网络进行处理，以复杂的方式进一步转换表示。

大型语言模型大量依赖于分布式表示。与单个神经元可能代表特定想法（例如，“情感”或“对象类型”）的模型不同，大型语言模型中的信息通常编码在大量的神经元群体中。想法以高维嵌入空间（$d_{model}$通常 > 1000）中的方向或区域形式存在。特定的语言特征或知识并非存储在一个地方，而是从多个维度的激活模式中浮现出来。

这是一个简化的视图，对比了局部表示（其中想法可能与单个单元紧密对应）和大型语言模型中的分布式表示（其中想法从许多单元的模式中浮现出来）。

这种分布式特性意味着，剖析模型的内部状态以找到某个输出的特定“原因”，就如同试图通过观察大脑中单个神经元的放电来理解一个想法一样；有意义的信息存在于集体的活动中。

令情况更复杂的是第1章讨论的涌现能力。诸如少样本学习或复杂推理等能力并非被明确设计到架构中，而是随着模型规模、数据量和计算能力的增加而产生的。由于这些行为并非直接编程实现，因此通过事后分析来确定产生它们的具体机制极其困难。它们是整个系统的特性。

最后，即便我们现有的分析方法也存在固有的局限性。将注意力可视化可能会突出模型关注的区域，但不能说明这种关注是如何或为何转化为输出的。探测任务，即我们在内部激活上训练简单分类器，可以显示关联性（例如，某些层编码语法信息），但在确定因果关系方面存在困难。探测器可能成功地从嵌入中预测词性标签，但这并不能明确证明模型以探测器的方式使用了这些信息，或者它是下游任务的重要因素。

这些困难并不意味着分析是徒劳的。相反，它们说明了理解大型语言模型需要多方面的方法，要结合不同的技术，并承认我们通常获得的是部分认识，而非完整、机制性的解释。后面部分中研究的方法为理解模型行为、诊断故障和构建更可靠的系统提供了有用的工具，即使“黑箱”仍有些不透明。