嵌入模型的专业化微调

通用嵌入 (embedding)模型在大规模网络语料库上预训练 (pre-training)，为语义理解提供了良好的起点。然而，当它们面对小众专业中普遍存在的专业术语、独特实体和特定语义关联 (semantic relationship)时，其性能可能会下降。医学研究、法律判例、专有工程文档，甚至特定的金融工具，常常以通用模型尚未充分掌握的方式使用语言。这种差异，常被称为“语义鸿沟”，可能导致检索结果不理想，即系统未能理解用户意图或无法在您的专业知识库中找到最相关的文档。在专业数据上微调 (fine-tuning)嵌入模型是弥补此鸿沟的一种方法，能大幅提升RAG系统检索部分的准确性。

专业化微调的主要目的是调整嵌入空间，使其更准确地反映与目标专业相关的语义相似性与差异。这意味着，包含特定专业术语的查询和文档，如果它们在该专业内语义相关，即使其表面形式或通用含义可能有所不同，也会被映射到彼此更接近的向量 (vector)表示。

为何投入微调 (fine-tuning)？解决语义不匹配问题

设想一个旨在辅助法律专业人员的RAG系统。一个通用嵌入 (embedding)模型可能会将“complaint”（诉状/投诉）一词理解为其日常意义上的抱怨。然而，在法律语境中，“complaint”是一种特定类型的C_LEGAL_DOCUMENT正式文件，用以启动诉讼。同样，一家软件公司的内部RAG系统可能会处理诸如“Project Phoenix”之类的项目代号或内部库名称，这些名称对通用模型来说毫无意义，但在公司内部却具有精确的技术含义。

若不进行微调，检索器可能会遇到困难：

误解查询： 将通用语义意义赋予专业术语。
遗漏相关文档： 未能将查询与使用特定专业同义词或相关术语的文档联系起来，这些术语在通用嵌入空间中未得到充分表示。
检索不相关文档： 过分强调通用相似性，而忽略特定专业差异。

微调使嵌入模型能够学习这些特定专业细节，从而让检索器更准确地“理解”您的内容和用户查询。

微调 (fine-tuning)准备：数据非常重要

微调的成功在很大程度上取决于专业数据的可用性和质量。您需要一个基础的预训练 (pre-training)嵌入 (embedding)模型，例如来自Sentence Transformers库的模型（如all-mpnet-base-v2、multi-qa-MiniLM-L6-cos-v1），或通过API提供的模型，以及一个能反映您专业语言的数据集。

用于微调嵌入模型的常见数据集类型包括：

有监督数据集： 这些数据集提供明确的相关性或相似性信号。
- 查询-正向文档对 (query, positive_document)： 这通常是最有效的数据类型。每对由一个查询（或问题）和一个已知与该查询高度相关的文档片段组成。它们可以来自现有搜索日志、专家标注或常见问题-答案对。
- 句子/文档三元组集 (anchor, positive, negative)： 这些数据集由一个锚定文档/句子、一个正向示例（与锚定语义相似）和一个负向示例（与锚定语义不相似）组成。模型学习将锚定和正向示例拉近，同时将锚定和负向示例推开。
- 相关性评分对 (text_1, text_2, score)： 带有数字分数（例如，0到1的范围）的文本对，指示其语义相似程度。
无监督/自监督数据集（专业自适应预训练 - DAPT / 任务自适应预训练 - TAPT）： 当有标签的有监督数据稀缺时，您仍然可以使用大量原始专业文本来调整模型。
- 专业自适应预训练（DAPT）： 指在目标专业的大规模未标记 (token)语料库上继续嵌入模型的预训练过程（例如，掩码语言建模）。这有助于模型掌握特定专业的词汇、语法和共现模式。
- 任务自适应预训练（TAPT）： 类似于DAPT，但未标记语料库更侧重于与您的RAG系统最终将处理的数据类型相似的文本（例如，如果您的RAG用于产品手册的问答，TAPT将使用这些手册）。
另外，通过合成生成训练数据也越来越普遍，例如，使用强大的大型语言模型为给定文档片段生成合理的疑问，或改写现有查询。虽然有益，但合成生成数据的质量需要仔细监督。

核心微调 (fine-tuning)策略

存在多种用于微调嵌入 (embedding)模型的策略，每种策略在数据需求、计算成本和潜在效果方面都有其权衡考量。

1. 对比学习

对比学习是训练句子和文档嵌入模型的一种重要方法。其基本思想是训练模型将语义相似的输入映射到嵌入空间中靠近的点，将不相似的输入映射到远离的点。

为此目的广泛使用的损失函数 (loss function)，特别是对于查询-文档对，是多负样本排序损失（Multiple Negatives Ranking Loss, MNRL）。给定一个查询 $q$ 和一组文档，包含一个正向（相关）文档 $d^+$ 和若干个负向（不相关）文档 $d_i^-$ ，该损失函数鼓励 $q$ 和 $d^+$ 之间的相似度得分高于 $q$ 和任何 $d_i^-$ 之间的得分。

单个查询 $q$ 的损失函数可表示为：

L(q, d^+, \{d_i^-\}) = -\log \frac{\exp(\text{相似度}(E(q), E(d^+)) / \tau)}{\exp(\text{相似度}(E(q), E(d^+)) / \tau) + \sum_{i} \exp(\text{相似度}(E(q), E(d_i^-)) / \tau)}

其中：

$E(\cdot)$ 是嵌入函数（即正在微调的模型）。
$\text{相似度}(\cdot, \cdot)$ 是相似度函数，通常是余弦相似度。
$\tau$ 是温度超参数 (parameter) (hyperparameter)，控制分布的锐度。 $\tau$ 值越小，分布越尖锐，使模型任务更具挑战性。

难负样本： 负样本的选择很重要。难负样本是指语义上与查询接近（因此较弱的模型容易与正向文档混淆）但实际上不相关的文档。在训练批次中包含这些样本通常能使模型更具辨别能力。

2. 基于适配器的微调

大型嵌入模型的完全微调可能计算成本高昂，并存在“灾难性遗忘”的风险，即模型失去其部分通用语言理解能力。基于适配器的方法提供了一种参数效率更高的替代方案。

LoRA（低秩适应）或传统适配器模块等技术涉及冻结预训练 (pre-training)模型的权重 (weight)，并在其架构中注入少量新的、可训练的参数（即适配器）。在微调过程中，只有这些新参数会被更新。

优势包括：

降低计算成本： 更少的参数意味着更快的训练和更低的内存需求。
减轻灾难性遗忘： 预训练模型的大部分知识得以保留。
模块化： 可以针对不同专业或任务训练不同的适配器，并根据需要“即插即用”，共享同一个基础模型。

3. 完全微调

这涉及使用您的专业数据集更新预训练嵌入模型的所有参数。虽然它有可能实现对新专业的最高适应性，但它也是资源消耗最大的，并且如果微调数据集很小或与原始预训练数据差异很大，则存在最高的灾难性遗忘风险。谨慎的正则化 (regularization)和提前停止通常是必要的。

下图展示了嵌入模型用于特定专业RAG的通用工作流程。

嵌入模型专业化微调的工作流程。通用模型使用专业数据和选定的微调策略进行调整，然后进行评估并整合到RAG系统中。

实际考量与最佳实践

数据质量优先于数量： 一个较小、高质量的标注数据集通常比一个庞大、嘈杂的数据集产生更好的结果。确保您的(query, positive_document)对是真正相关的。
选择基础模型： 从一个强大的预训练 (pre-training)模型开始。如果您的专业涉及多种语言，请选择多语言模型。如果其技术性很强，一个在科学论文上训练的模型可能比在通用网络文本上训练的模型是更好的起点。
严格评估：
- 建立一个模型在训练期间未见过的专用专业测试集。
- 使用nDCG@k、平均倒数排名（MRR）、Recall@k和Precision@k等检索指标来量化 (quantization)改进。
- 如果您正在进行完全微调 (fine-tuning)，考虑在小型通用基准上进行评估，以检查是否存在灾难性遗忘。
超参数 (parameter) (hyperparameter)调整： 学习率、批次大小、训练轮次、损失函数 (loss function)参数（如MNRL的温度）和优化器选择都可能显著影响结果。尝试不同的组合很重要。
计算资源： 微调，特别是对于大型模型或数据集，通常需要GPU。云平台提供了方便访问这些资源的途径。
迭代改进： 微调很少是一次性的过程。您可能首先在大规模未标注语料库上进行DAPT，然后在一个较小的标注集上进行对比微调。持续收集新数据（例如，来自用户交互）以便随着时间推移进一步完善模型。

潜在挑战

数据稀缺： 获取高质量、有标签的专业数据可能是一个很大的障碍。
过拟合 (overfitting)： 尤其是在小数据集上，模型可能在训练数据上表现良好，但未能泛化到来自该专业的新颖、未见的查询或文档。
灾难性遗忘： 主要是在完全微调 (fine-tuning)中存在的问题，模型会失去处理通用语言的能力。
成本与精力： 微调需要专业知识、计算资源以及用于数据准备和试验的时间。

微调 (fine-tuning)是您的RAG系统的正确步骤吗？

特定专业的微调是一种强大的优化手段，但它并非总是首选。在以下情况下可以考虑它：

您发现您的RAG系统在使用通用嵌入 (embedding)时，难以处理特定专业术语，或始终无法为特定类型的查询检索到真正相关的文档。
检索到的上下文 (context)的准确性和相关性对生成器的下游任务极其重要。
您拥有或能够创建合理数量的专业数据（即使DAPT最初是未标注的）。
性能的提升足以证明在时间和资源上的投入是合理的。

通过仔细准备数据、选择合适的策略并严格评估结果，特定专业的微调可以将您的嵌入模型从通用型转变为专业型模型，从而大幅改进RAG系统的基础性能。这为生成器产生更准确、相关和可信的输出奠定了条件。

这部分内容有帮助吗？

参考文献

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, Nils Reimers and Iryna Gurevych, 2019 Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) (Association for Computational Linguistics) DOI: 10.18653/v1/D19-1410 - 本文介绍了Sentence-BERT，一个广泛使用的生成句子嵌入的框架，也是Sentence Transformers库的基础，与讨论的基础模型和微调策略直接相关。
LoRA: Low-Rank Adaptation of Large Language Models, Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen, 2022 International Conference on Learning Representations (ICLR 2022) DOI: 10.48550/arXiv.2106.09685 - 这篇论文介绍了低秩适应（LoRA），一种参数高效的微调方法，它解决了计算成本和灾难性遗忘问题，正如文中对基于适配器的微调所描述的。