减轻RAG输出中的幻觉

幻觉 (hallucination)是检索增强生成（RAG）系统中的主要问题，指生成器大型语言模型（LLM）生成听起来合理但事实不正确、未被提供文档支持或完全虚构的文本。即使LLM收到了相关语境，这些不准确信息也可能发生。将这些虚构内容降到最低，对于优先考虑准确性和可信赖性的生产RAG系统而言，是一项重大的工程挑战。检测和减轻此类不准确信息的策略将得到审视，旨在确保RAG系统输出始终以检索到的证据为依据。

RAG中幻觉 (hallucination)的产生原因

RAG输出中的幻觉并非源于单一原因；它们通常是多种因素综合作用的结果：

1. 上下文 (context)不足或不相关： 如果检索步骤返回的主题无关、不完整或质量低下的文档，LLM的生成就没有良好的依据。它可能因此依赖其内部参数 (parameter)知识，而这些知识可能已过时或不正确，或者尝试创造性地填补空白。
2. 检索到的信息模糊或矛盾： 当检索到的片段出现相互矛盾的事实或模糊的陈述时，LLM可能难以正确地整合它们，导致输出内容误解或歪曲了原始资料。
3. LLM参数知识的渗透： 即使有上下文，LLMs有时仍会“偏好”其预训练 (pre-training)数据中的信息，尤其当提示没有严格要求它仅依赖所提供的上下文时。这在LLM对其内部知识高度自信的非常一般性的知识问题中更为常见。
4. 过度暗示的提示或生成参数： 无意中引导模型的提示，或鼓励生成多样性的参数（例如高temperature），会增加幻觉的可能性。LLM可能会生成在上下文中补充的细节。
5. 合成的复杂性： 对于需要基于所提供上下文进行多文档合成或复杂推断的任务，LLM可能会做出源文本无法完全支持的逻辑跳跃，从而导致轻微的不准确。

有效解决幻觉问题需要多方面的方法，针对RAG流程中这些不同的原因进行处理。

幻觉 (hallucination)减轻策略

减少幻觉的策略包括在提示工程 (prompt engineering)阶段、模型微调 (fine-tuning)、生成后验证以及生成参数 (parameter)的审慎选择中进行干预。

1. 通过优化提示工程确保内容可靠

您通过提示指导LLM的方式，是控制其输出的一种直接且有效手段。为最大限度减少幻觉：

• 明确指示以事实为依据： 您的提示应明确说明答案必须仅基于所提供的文档。

  System: 您是一个乐于助人的助手。请仅根据提供的上下文文档回答用户的问题。如果信息不在上下文中，请说明“我无法根据提供的文档回答此问题。”不要添加上下文中未明确说明的任何信息。
  
  Context:
  <retrieved_document_1_content>
  <retrieved_document_2_content>
  
  User: <user_question>
  Assistant:
  

• 请求在上下文 (context)中引用： 指示LLM引用支持其答案的来源文档或特定段落。这不仅有助于验证信息，还迫使模型更严格地遵循上下文。

  System: ... 对于您回答中的每个事实陈述，请引用信息来源的文档ID（例如，[Doc1]、[Doc2]）。
  
  Context:
  [Doc1] Alpha项目的截止日期是8月15日。
  [Doc2] 所有团队成员必须在周五前提交进度报告。
  
  User: Alpha项目何时到期，周五前需要完成什么？
  Assistant: Alpha项目截止日期是8月15日 [Doc1]。团队成员必须在周五前提交进度报告 [Doc2]。
  

• 思维链 (CoT) 提示用于依据构建： 鼓励LLM首先从上下文中提取相关事实，然后合成答案。这使得依据构建过程更加明确。

  System: ... 首先，识别并列出所有与回答问题相关的上下文句子。然后，仅根据这些提取的句子合成答案。
  
  Context: <文档>
  User: <问题>
  Assistant:
  Relevant sentences:
  1. <sentence_A_from_context>
  2. <sentence_B_from_context>
  Answer: <synthesized_answer_based_on_A_and_B>
  

• 负面约束： 添加关于不该做什么的指示，例如“不要编造细节”或“不要使用外部知识。”

2. 微调LLM以实现事实一致性

虽然通用LLM功能强大，但在特定领域或特定任务数据上对其进行微调可以大幅提高其在RAG框架内生成事实一致响应的能力。

• 基于可靠示例的指令微调： 创建一个(上下文、问题、期望答案)三元组数据集，其中期望答案严格来源于上下文。在此类数据集上微调LLM，可以使其学会优先考虑所提供的证据。
• 事实一致性的对比学习： 在微调过程中，向模型提供一个上下文、一个问题、一个事实答案和一个幻觉答案。损失函数 (loss function)将鼓励模型为事实答案分配更高的概率，为幻觉答案分配更低的概率。
• 基于人类反馈的强化学习 (reinforcement learning) (RLHF) 或基于AI反馈的强化学习 (RLAIF)： 收集人类或AI生成的关于模型输出事实准确性的反馈。使用此反馈训练奖励模型，该模型根据响应的事实依据性打分。然后，使用强化学习（例如PPO）微调LLM，以最大化来自此事实准确性感知奖励模型的分数。

3. 后置验证与过滤

即使经过精心的提示和微调，幻觉仍可能发生。在生成后实施验证步骤可以捕获这些错误。

• 利用自然语言推断 (NLI) 进行事实验证： NLI 模型经过训练，用于判断前提与假设之间的关系（蕴含、矛盾或中立）。在RAG中，检索到的上下文（或其中相关片段）可作为前提，生成答案中的一个句子可作为假设。

  1. 将生成的答案分解为独立的论断或句子。
  2. 对于每个论断，使用NLI模型检查它是否被检索到的上下文所蕴含。
  3. 如果一个论断与上下文矛盾或中立（未获支持），则它可能是潜在的幻觉。系统可以标记 (token)该答案，尝试重新生成它，或移除不受支持的论断。

  图示了基于NLI的RAG输出后置验证流程。

• 查询上下文以进行确认： 一种更简单的方法是根据生成的陈述提出问题，并再次查询原始上下文（可能使用不同的、更简单的LLM，甚至是关键词搜索）以查看其是否可以被确认。

• 使用LLM作为验证器： 一个单独的、可能更强大或经过特定提示的LLM，可用于评估主生成器输出与所提供上下文的一致性。例如，您可以向GPT-4这样的模型提示：“给定以下上下文和响应，响应是否包含上下文中不存在的任何信息？请识别任何此类陈述。”

  {
    "model": "gpt-4",
    "messages": [
      {"role": "system", "content": "您是一名专业的事实核查员。您的任务是确定“响应”是否包含“上下文”中未明确支持的任何信息或主张。如果响应中的所有信息都得到上下文的支持，则回答“忠实”。否则，回答“不忠实”并列出未得到支持的具体主张。"},
      {"role": "user", "content": "上下文：白天天空因瑞利散射而呈蓝色。夜晚，它显得黑暗。\n响应：天空因瑞利散射而呈蓝色，有时白天也能看到月亮。"}
    ]
  }
  

  在此示例中，验证器LLM应将“有时白天也能看到月亮”识别为不忠实，因为它不在上下文中。

4. 控制生成参数

LLM的生成过程可以调整以偏向事实性：

• Temperature（温度）： 降低temperature（例如，降至0.0或0.2）会使输出更具确定性且随机性更小，从而减少虚构内容的出现。
• Top-p（核心）采样： 使用适度的top_p值（例如0.9）会有帮助，但过高的值可能会允许采样更多样化且可能缺乏依据的词元 (token)。
• 重复惩罚： 虽然不直接针对事实性，但适当的重复惩罚可以防止模型陷入可能包含无意义或缺乏依据陈述的循环。

请注意，过于严格的设置可能导致平淡或过于简洁的响应。这是在创造性/流畅性与事实性之间的一种平衡。

5. 结构化数据和知识图谱

如果知识库的某些部分可以表示为结构化数据（例如，在知识图谱中），RAG系统可以被设计为查询这些结构化数据以获取精确事实。当答案组件可以从知识图谱中获取时，它本身比自由形式的文本生成更不容易出现LLM幻觉。LLM随后可以负责将这些检索到的事实表述出来。

例如，如果问题是“X公司是何时成立的？”，直接从知识图谱元组(CompanyX, foundedDate, YYYY-MM-DD)中检索此信息比要求LLM从长篇文档中查找和解析它更可靠。

6. 迭代优化和主动学习

没有任何系统一开始就是完美的。实施反馈循环是必要的：

• 人工干预 (HITL) 审查： 定期审查RAG输出样本，专门查找幻觉。记录这些实例。
• 数据增强： 使用已识别的幻觉（及其更正版本）来增强生成器的微调数据集，或为NLI模型创建更好的负面示例。
• A/B测试减轻策略： 在实施新的幻觉减轻技术时，对其进行A/B测试，与基线进行比较，以衡量其对事实性和其他质量指标（例如，有用性、流畅性）的影响。
• 监控忠实度指标： 采用RAGAS等评估框架，其中包含“忠实度”（答案有多少部分由上下文支持）和“答案相关性”等指标，以持续监控和跟踪幻觉率。

事实性与其它质量的平衡

重要的是要认识到，激进的幻觉 (hallucination)减轻措施有时会付出代价。例如：

• 过度谨慎的响应： 严格的依据构建指示可能导致LLM拒绝回答合理的推断问题，或提供过于简洁、听起来像“机器人”的答案。
• 增加延迟和成本： 后置验证步骤，特别是那些涉及额外NLI模型调用或将LLM用作验证器的调用，会增加RAG系统的整体延迟和计算成本。

可接受的幻觉水平以及您愿意做出的权衡将取决于您的具体应用。对于医疗或金融咨询的RAG系统，对幻觉的容忍度接近于零。对于更具自由度或风险较低的应用，某些程度的不完美可能是可接受的，以换取更流畅或更全面的答案。

通过系统地应用这些策略，您可以大大减少幻觉的发生率，从而使RAG系统更加可信和可靠，适合生产部署。这种方法通常是分层防御，将主动措施（提示、微调 (fine-tuning)）与被动措施（验证）相结合。