数据稀缺与不平衡的处理

尽管理想情况是拥有充足、高质量、完美平衡且能反映目标任务或相关数据的数据，但现实往往不尽如人意。您会经常遇到相关数据稀缺，或数据中某些指令类型、主题或类别相较于其他类型显著不足（不平衡）的情况。数据稀缺和不平衡都给有效的微调带来了重大难题，可能导致模型表现不佳、出现偏差或无法可靠泛化。了解如何缓解这些问题对于大型语言模型的实际调整非常必要。

数据不足的难题

数据稀缺指的就是缺少足够的示例数据来充分训练模型，使其完成预期任务或具备特定专业能力。微调使用了预训练模型中已编码的丰富知识，这意味着通常您所需的数据量远少于从头开始训练。然而，“少”是相对的，特别是对于复杂的指令或高度专业化的特定场景。

数据稀缺的后果包括：

1. 过拟合： 模型可能会记住小型训练集，而非学习可泛化的模式，导致在未见过的数据上表现不佳。
2. 学习不足： 示例不足可能使模型难以掌握所需行为或特定知识的细微之处。
3. 不稳定： 训练动态在极小的数据集上可能变得不稳定。

数据不平衡发生于示例在不同类别、指令类型或期望输出上的分布严重倾斜之时。例如，一个指令数据集可能包含数千个摘要示例，但只有少量用于创意写作提示。或者，一个用于医疗聊天机器人的特定数据适应集可能拥有大量常见疾病的数据，但罕见疾病的数据却很少。

数据不平衡的后果包括：

1. 偏向多数类别： 模型会优化其在最常见类别上的表现，常常忽略或在少数类别上表现不佳。
2. 少数类别表现不佳： 模型可能缺乏足够的信号来学习未充分代表的项目的表示，导致在这些情况下输出不准确或过于泛化。
3. 误导性评估： 即使模型在少数类别上完全失败，标准准确率指标也可能很高，从而掩盖了明显的性能差距。

数据稀缺的策略

当面临有限的目标数据量时，可以考虑以下方法：

• 借助迁移学习： 如果您特定小众领域的数据稀缺，可以寻找来自密切相关任务或情境的更大规模数据集。顺序微调（首先在相关的大型数据集上进行，然后是您的目标稀缺数据集）可以在模型专业化之前灌输相关的基本知识。通过将稀缺数据与相关数据集结合进行多任务微调（第5章将讲解）也可能有所助益。例如，针对专业法律合同分析的微调可以从一个更大的通用法律文档分类数据集开始。
• 优化少样本表现： 尽管不完全是数据准备技术，但参数高效微调（PEFT）方法如LoRA（第4章讨论）通常比完全微调更节省数据。它们在数据量少的情况下表现更好，因为它们修改的参数较少，降低了在小型数据集上过度拟合的风险。
• 半监督和自监督方法： 如果您在目标情境中有未标记的数据，可以考虑进行中间自监督微调。诸如在特定文本上持续预训练的技术可以帮助模型在有限的标记示例上进行监督微调之前调整其表示。这需要仔细设置，但在标记数据极少时可以显著提升性能。
• 数据增强： 从现有示例中主动生成新的训练示例是一项主要策略。我们将在下一节讨论具体的文本增强技术。

数据不平衡的策略

处理不平衡问题需要仔细操作，以确保模型在所有类别上都有效学习：

数据层面的技术

这些方法修改数据集本身，以在训练期间创建更平衡的分布。

• 重采样：

  • 少数类别过采样： 复制未充分代表类别中的示例。虽然简单，但朴素的复制可能导致对这些特定示例的过拟合。更复杂的技术（尽管在生成文本中不如分类常见）可能涉及创建合成变体。
  • 多数类别欠采样： 随机移除过度代表类别中的示例。主要缺点是可能丢失被移除数据中包含的有价值信息。这通常仅在多数类别非常庞大时才可行。

• 有针对性地数据获取/生成： 优先收集或专门为未充分代表的类别创建新数据。这通常是最有效的做法，尽管可能资源密集。如果使用合成数据生成（例如，使用另一个大型语言模型生成示例），请严格验证生成样本的质量和多样性。

微调数据集中不同指令类型示例的分布示例，突显了创意问答和翻译任务的代表性不足。

算法层面的技术

这些方法调整的是训练过程，而非数据本身。

• 加权损失函数： 修改标准损失函数，对少数类别示例上发生的错误施加更高的惩罚。这迫使模型更关注正确处理这些示例。一种常见的方法是为每个类别 $c$ 的损失加权，使其与该类别的频率成反比。例如，权重 $w_c$ 可以计算为：

  $$w_c = \frac{N}{C \times N_c}$$

  这里 $N$ 是训练示例的总数，$C$ 是类别数量，$N_c$ 是类别 $c$ 中的示例数量。这需要在训练循环中仔细实现，以便在计算损失时应用正确的权重。PyTorch 和 TensorFlow 等库提供了应用样本或类别权重的机制。

• 关注相关指标： 在评估期间（第6章将详细讲解），不要仅仅依赖整体准确率。分析每个类别或类型下的性能指标，如精确率、召回率和F1分数。这能更清楚地展现模型如何处理不平衡问题。使用混淆矩阵来可视化类别间的错误分类。

实际考量

处理数据稀缺和不平衡通常是一个迭代过程：

1. 分析： 首先仔细分析数据集的大小和分布。找出稀缺或不平衡的具体方面。
2. 制定策略： 根据问题的性质和可用资源选择合适的技术。通常，多种方法的组合（例如，有针对性地数据获取加上加权损失）效果最好。
3. 实施与实验： 应用所选技术。这可能涉及编写重采样逻辑脚本、修改训练循环以实现加权损失，或设置数据增强流程。
4. 评估： 严格评估模型的性能，使用适当的指标密切关注未充分代表的方面。将结果与未采用缓解策略训练的基线模型进行比较。
5. 迭代： 根据评估结果，调整您的方法。也许需要调整损失权重，或者需要更积极的数据增强。

有效处理数据限制不仅仅是让模型进行训练；更是为了构建一个可靠、公平且能在所有预期任务和数据变体上表现良好的模型。这里讨论的策略提供了一套工具，用于解决大型语言模型微调中这些常见且重要的难题。