识别生成过程中的过拟合

在训练小语言模型时，看到训练损失（training loss）稳步下降是件令人欣慰的事情。然而，低损失值有时会产生误导。将损失降得过低往往会导致生成式 AI (Generative AI) 出现过拟合 (overfitting)。与传统的分类模型不同（在分类模型中，过拟合仅意味着测试数据的准确率较低），生成式过拟合表现为“死记硬背”。模型不再学习数据的底层规则，而是记住了确切的训练样本。

与过拟合紧密相关的是灾难性遗忘。小语言模型的参数 (parameter)数量有限。当你为了让模型掌握高度特定的指令集而剧烈更新这些权重 (weight)时，模型可能会覆盖掉它在最初预训练 (pre-training)期间获得的语言能力。一个经过微调 (fine-tuning)的模型可能会写出出色的 SQL 查询，但突然间失去了编写简单英文摘要的能力。为了检测这种情况，你必须将微调后的模型输出与基础模型直接进行对比。

通过对比基础模型和微调模型的输出，检测灾难性遗忘的工作流程。

如何判断你的模型是否已经从“学习”转向了“死记硬背”？生成的文本中有几个明显的指标。首先是精确记忆。模型逐字逐句地复现训练数据。如果你用训练问题的轻微变体来提示它，它会输出训练集中完全一致的答案，完全忽略了你的变动。

其次是重复循环。模型陷入无限重复同一个短语或 Token 的状态。过度优化的模型往往会失去为“序列结束”Token 分配正确概率的能力。第三是格式僵化。如果你的训练数据全是项目符号形式的回答，过拟合的模型可能会拒绝生成段落，即使在提示词 (prompt)中明确要求这样做也是如此。

虽然观察很有必要，但你的训练日志能提供最早的警告信号。你应该始终同时监控训练损失和验证损失（validation loss）。训练损失衡量模型预测训练集中下一个 Token 的表现。验证损失则衡量在预留数据集上的相同指标。如果训练损失持续下降，而验证损失趋于平缓或开始上升，说明你的模型正在死记硬背训练数据。

训练损失和验证损失的背离预示着过拟合的开始。

当你发现这些症状时，必须调整训练过程。最常见的解决方案是早停法（early stopping）。在验证损失达到最小值、尚未开始上升的轮次停止训练过程。

如果早停法还不够，你可能需要调整参数高效微调（PEFT）的设置。减小 LoRA 配置中的秩（rank）参数可以限制适配器的容量。较低的秩会迫使模型学习通用的表示方式，而不是死记硬背特定的例子。此外，增加指令数据集的多样性有助于防止模型在学习阶段过度关注重复的模式。