什么是微调？

微调是对已预训练的大型语言模型进行后续训练，使用的数据集规模较小且针对特定内容。这个二次训练阶段使模型能更好地完成特定任务、掌握特定主题内容或形成某种风格，而无需从零开始训练模型。

可以将基础模型想象成一个人，他读过大量书籍，对语言、历史和科学有全面的知识。微调就像让这个人参加一个专门的项目，比如医学院或法律职业考试辅导班。他们不会忘记已有的常识；相反，他们学会将这些知识与新专业方向的特定术语、语境和推理模式结合运用。

在内部机制上，这种调整是通过更新模型的内部参数或权重来实现的。一个预训练模型的参数在处理了来自开放互联网的数万亿个令牌后已趋于稳定。微调过程会使用新的、精心整理的数据集对这些权重进行进一步的微小调整。这是通过一个标准训练循环完成的，在此循环中，模型对您数据的预测与真实示例进行比较，损失函数会计算出误差。反向传播算法随后利用这个误差，微调模型的权重方向，以尽量减少您在特定任务上的误差。

构建专门模型的过程。基础模型首先在庞大的通用数据集上进行预训练，然后在一个规模较小、针对特定任务的数据集上进行微调。

为什么要微调模型？

微调不仅仅是教模型新知识。它在于改变其行为以适应特定目的。微调的主要原因可归为三类主要情况。

内容方向适配

GPT-4或Llama 3等通用模型对专门内容了解不深。如果您的应用程序需要处理法律合同、分析科学文献或理解财务报告，微调可以使模型适应该内容方向的独特词汇、语法和实体。模型学会“说”专家的语言，从而产生更准确、更符合语境的回应。

风格和语气适配

您可能需要一个以非常特定的口吻进行交流的模型。例如，一个客服聊天机器人应该始终礼貌、善解人意且乐于助人。另一个应用程序可能需要一个能生成带有诙谐和非正式语气的营销文案的模型。通过对展现所需人格特征的示例进行微调，您可以引导模型的输出与您的品牌声音保持一致，使其回应更加一致且可预测。

任务专门化

尽管基础模型可以通过巧妙的提示完成许多任务（一种被称为零样本或少样本学习的实践），但对于复杂或新任务，它们的表现可能不可靠。微调可以让您训练模型，使其擅长某项特定功能，例如：

• 总结法律证词为简明报告。
• 将客户反馈分类为“错误报告”、“功能请求”或“账单咨询”等类别。
• 根据自然语言描述，生成特定编程语言的代码。
• 从非结构化文本中提取结构化信息，例如从医生笔记中提取药物名称和剂量。

作为迁移学习的微调

整个过程是迁移学习的应用。我们并非从零开始。相反，我们正在将预训练期间捕获的语言知识迁移并应用于新问题。初始预训练阶段承担了大部分任务，习得了语法、推理以及模型本身。微调阶段随后针对特定目的对这些知识进行调整。这种方法使得创建高性能、专门模型变得可行，而无需从零开始训练大型语言模型所需的天文数字般的计算成本。

区分微调与提示工程很重要。当您进行提示工程时，您是在向现有、未更改的模型提供指令。当您进行微调时，您是在从根本上改变模型本身，创建一套新的权重，其中隐式包含您训练数据中的知识。当您需要将一项新技能或风格直接嵌入到模型的行为中时，微调是正确的做法，尤其当这种行为过于复杂，无法仅通过提示可靠地引出时。