指令微调原则

预训练大型语言模型（LLMs）从其初始训练阶段获得了大量的知识和语言能力。然而，这种通用知识并不能自动转化为精确遵循人类指令或按要求执行特定任务的能力。基础模型通常会延续其预训练数据中的模式（例如补全文本），而不是遵循用户的明确命令。指令微调解决了这一不足。

指令微调本质上是一种特定形式的监督微调（SFT）。指令微调不针对特定领域文本或缺少明确命令的任务示例进行微调，而是使用由 (指令, 响应) 对组成的数据集，有时还会包括可选的上下文。其目的是让模型学会理解并执行自然语言指令中指定的任务。

从预测到执行的转变

在预训练期间，大型语言模型学习预测序列中的下一个token，以优化语言建模目标。这构建了语言结构和知识的强大内部表示。指令微调重新利用了这种预测能力。通过在指令位于预期输出之前的示例上进行训练，模型学会了不仅根据前面的文本，更根据指令中表达的意图来调整其预测。它学会了指令遵循的元任务。

考虑其目标。在指令微调的标准监督微调（SFT）中，模型的参数（$\theta$）会被调整，以最大化在给定 指令 ($I$) 和任何提供的 上下文 ($C$) 的情况下生成目标 响应 ($R$) 的概率：

$$\text{最大化 } P(R | I, C; \theta)$$

这通常通过最小化响应序列中token的负对数似然（交叉熵损失）来实现。模型学会了某些文本模式（指令）表明需要生成特定类型的输出（响应），而不是简单地延续输入文本流。

指令微调为何有效

1. 更好的可控性： 经过指令微调的模型在可控性方面明显提高。用户只需说明他们想要什么，就能引导模型的行为，从而减少了在许多常见任务中对复杂提示工程或少量示例的需求。
2. 泛化能力增强： 对涵盖多种任务（例如，摘要、翻译、问答、分类、代码生成）的各种指令集进行训练，有助于模型更好地泛化到新的、未见的指令。它学习了指令如何映射到行动的潜在模式。
3. 对齐的基础： 指令微调通常是使大型语言模型与人类偏好对齐的第一步。通过训练模型可靠地遵循指令，它变得更容易适应后续的对齐技术，例如基于人类反馈的强化学习（RLHF），这些技术会进一步完善其有益性和无害性。

成功的原则

• 数据决定成效： 指令微调的有效性直接取决于指令数据集的质量、多样性和数量。模型将学习该数据中存在的模式、偏差和局限性。编写不当的指令或不准确的响应会导致模型表现不佳。
• 注重格式理解： 模型需要学会识别各种措辞和结构作为指令。数据集应包含以问题、命令、暗示请求的陈述等形式表达的指令。
• 任务多样性很重要： 在指令微调期间，让模型接触广泛的任务类型会形成一个更具通用能力的指令遵循模型。如果需要，后续可以实现专业化，但广泛的初始指令微调阶段通常是有益的。

以下图表说明了该过程：

基础大型语言模型通过指令-响应对数据集进行微调，从而得到一个能够执行命令的指令微调模型。

理解这些原则对准备有效数据集来说非常重要。尽管基础大型语言模型拥有原始能力，但指令微调能塑造这些能力，将模型转变为一个更实用、更具交互性的工具。接下来的章节将详细说明如何获取、构建和格式化实现这一转变所需的数据。