解读大型语言模型的难题

构建和训练大型语言模型需要复杂的机制，但要理解一个训练好的模型为何会如此表现，这本身就带来了一系列重大困难。大型语言模型（LLMs）所具有的庞大规模和复杂的架构使其具备了出色的能力，但同时也让它们难以解释其运行原理。与那些可以追踪特定特征或参数 (parameter)影响的较小、更简单的模型不同，大型语言模型更像是错综复杂、高维度的系统，其内部运作原理并不一目了然。

其中一个主要障碍是其庞大的规模。现代大型语言模型包含数十亿，有时甚至数万亿个参数。这些参数在数十甚至数百个层之间以高度复杂、非线性的方式相互影响。以一次单独的预测为例：追踪每个参数通过矩阵乘法、非线性激活函数 (activation function)（如GeLU或SwiGLU）、层归一化 (normalization)和注意力机制 (attention mechanism)序列的确切贡献，这在计算上是不可行的，而且即便能做到，也可能无法得出人类可以理解的解释。最终的输出是这个巨大参数空间中细微而集体的相互影响的结果。

Transformer架构本身也增加了理解的难度。自注意力 (self-attention)机制允许模型动态地衡量输入序列中不同词元 (token)的重要性。尽管将这些注意力权重 (weight)（我们将在后面讨论）提供了一些线索，但这并非一个明确的解释。高注意力权重并不总是等同于对最终预测的因果重要性。此外，多头注意力 (multi-head attention)设计明确地促使模型在并行子空间中学习不同的关系模式，这使得任何简单的解释变得碎片化。然后这些模式被结合并通过前馈网络进行处理，以复杂的方式进一步转换表示。

大型语言模型大量依赖于分布式表示。与单个神经元可能代表特定想法（例如，“情感”或“对象类型”）的模型不同，大型语言模型中的信息通常编码在大量的神经元群体中。想法以高维嵌入 (embedding)空间（$d_{model}$通常 > 1000）中的方向或区域形式存在。特定的语言特征或知识并非存储在一个地方，而是从多个维度的激活模式中浮现出来。

这是一个简化的视图，对比了局部表示（其中想法可能与单个单元紧密对应）和大型语言模型中的分布式表示（其中想法从许多单元的模式中浮现出来）。

这种分布式特性意味着，剖析模型的内部状态以找到某个输出的特定“原因”，就如同试图通过观察大脑中单个神经元的放电来理解一个想法一样；有意义的信息存在于集体的活动中。

令情况更复杂的是第1章讨论的涌现 (emergence)能力。诸如少样本学习 (few-shot learning)或复杂推理 (inference)等能力并非被明确设计到架构中，而是随着模型规模、数据量和计算能力的增加而产生的。由于这些行为并非直接编程实现，因此通过事后分析来确定产生它们的具体机制极其困难。它们是整个系统的特性。

最后，即便我们现有的分析方法也存在固有的局限性。将注意力可视化可能会突出模型关注的区域，但不能说明这种关注是如何或为何转化为输出的。探测任务，即我们在内部激活上训练简单分类器，可以显示关联性（例如，某些层编码语法信息），但在确定因果关系方面存在困难。探测器可能成功地从嵌入中预测词性标签，但这并不能明确证明模型以探测器的方式使用了这些信息，或者它是下游任务的重要因素。

这些困难并不意味着分析是徒劳的。相反，它们说明了理解大型语言模型需要多方面的方法，要结合不同的技术，并承认我们通常获得的是部分认识，而非完整、机制性的解释。后面部分中研究的方法为理解模型行为、诊断故障和构建更可靠的系统提供了有用的工具，即使“黑箱”仍有些不透明。