实现生成器集成

检索器组件已准备好获取相关信息，下一步很自然地就是整合检索增强生成（RAG）的“生成”部分。这需要连接一个大型语言模型（LLM），它会将用户的查询和检索到的背景信息综合成一个连贯的最终答案。

LLM充当推理 (inference)引擎。它不仅仅重复检索到的文本；它将这些文本用作辅助知识，以此构成直接回答原始问题、并以所提供的背景信息为基础的回复。

有两种主要方法可以将LLM集成到你的RAG管道中：

使用基于云的LLM API： 像OpenAI（GPT模型）、Anthropic（Claude模型）、Cohere、Google（Gemini模型）或Hugging Face（通过其推理API）等服务，通过简单的API调用提供对功能强大的预训练 (pre-training)模型的访问。
运行本地LLM： 你可以直接在自己的基础设施上托管和运行开源模型（如Llama、Mistral或Flan-T5变体），使用诸如Hugging Face的transformers库，或专门的服务框架，如Ollama或vLLM。

让我们看看如何实现这些方法。

通过LLM API进行集成

使用API通常是最快的上手方法。提供商管理模型的托管、扩展和维护。你的应用程序将增强后的提示（查询 + 背景信息）发送到API端点，并接收生成的文本。

步骤：

选择提供商和模型： 选择一个API提供商和一个适合你任务的特定模型（例如，gpt-3.5-turbo、claude-3-opus、gemini-pro）。
获取API凭证： 注册服务并获取API密钥。重要提示： 将API密钥视为密码；安全地存储它们（例如，使用环境变量或密钥管理工具），绝不要直接提交到你的代码库中。
安装提供商的库： 使用pip安装必要的Python客户端库（例如，pip install openai、pip install anthropic）。
实例化客户端： 使用你的API密钥初始化客户端库。
格式化提示： 构建提示字符串，清晰地分隔用户查询和检索到的背景信息。这在第4章（“RAG的提示结构”）中有所讨论。
进行API调用： 将格式化后的提示发送到相应的API函数（通常称为create、complete或generate）。
处理响应： 从API响应对象中提取生成的文本。

示例（OpenAI集成）：

# 注意：需要安装'openai'库并设置OPENAI_API_KEY环境变量。

import os
from openai import OpenAI

# 1. 实例化客户端（使用环境变量进行认证）
try:
    client = OpenAI() 
    # api_key也可以显式传递：OpenAI(api_key="你的API密钥")
except Exception as e:
    print(f"Error initializing OpenAI client: {e}")
    # 适当处理错误（例如，退出、记录日志、抛出异常）
    exit()

# 2. 准备增强型提示（示例结构）
user_query = "What were the main findings of the climate report?"
retrieved_context = """
Document Snippet 1: The report highlights a significant increase in global average temperatures...
Document Snippet 2: Key findings include accelerated sea-level rise and more frequent extreme weather events...
"""

augmented_prompt = f"""
Based on the following context, answer the user's query.

Context:
{retrieved_context}

Query: {user_query}

Answer:
"""

# 3. 进行API调用
try:
    response = client.chat.completions.create(
        model="gpt-3.5-turbo", # 或另一个合适的模型
        messages=[
            {"role": "system", "content": "你是一个根据所提供背景信息进行回复的有用助手。"},
            {"role": "user", "content": augmented_prompt}
        ],
        temperature=0.7, # 控制随机性（创造性与确定性）
        max_tokens=150   # 限制生成响应的长度
    )

    # 4. 处理响应
    if response.choices:
        generated_text = response.choices[0].message.content.strip()
        print("LLM响应：")
        print(generated_text)
    else:
        print("未生成响应。")

except Exception as e:
    print(f"Error during OpenAI API call: {e}")
    # 处理API错误（例如，速率限制、认证问题）

API的考量：

成本： 大多数API根据输入和输出的令牌数量收费。处理大量背景信息或生成长响应可能会变得昂贵。
延迟： 网络请求会带来延迟。获取响应所需的时间取决于API提供商的负载和你的网络连接。
数据隐私： 将你的数据（查询和背景信息）发送给第三方服务需要信任其隐私和安全政策。

集成本地LLM

在本地运行模型让你对环境和数据隐私有更多掌控，但需要管理计算资源和模型设置。Hugging Face的transformers等库使得加载和运行许多开源模型相对简单。

步骤：

选择模型： 选择一个与你的硬件兼容的开源模型（CPU/GPU内存是主要限制）。在Hugging Face Hub上查找选项。
安装库： 安装transformers和一个后端，如PyTorch (torch) 或TensorFlow (tensorflow)。根据模型，你可能需要额外的依赖。（pip install transformers torch）
下载模型权重 (weight)： 首次加载模型时，库通常会下载其权重（这可能需要几千兆字节）。
加载模型和分词 (tokenization)器 (tokenizer)： 实例化模型及其对应的分词器。分词器将文本转换为模型能理解的数字格式。
准备输入： 对增强型提示进行分词。
生成文本： 将分词后的输入传递给模型的generate函数。
解码输出： 使用分词器将模型的数字输出转换回人类可读的文本。

示例（Hugging Face transformers集成）：

# 注意：需要安装'transformers'和'torch'（或'tensorflow'）。
# 根据模型，可能需要大量内存/显存。

from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
import torch # 或 import tensorflow as tf

# 1. 选择一个模型（示例：一个更小、更易于管理的模型）
model_name = "gpt2" # 如果资源允许，请替换为更大/更好的模型，例如："mistralai/Mistral-7B-Instruct-v0.1"

# 2. 加载模型和分词器（首次运行时下载权重）
try:
    # 使用pipeline以获得更简单的接口（处理分词/解码）
    # 指定设备：'cuda'表示GPU（如果可用且已配置），否则为'cpu'
    device = 0 if torch.cuda.is_available() else -1 # pipeline约定：device=0表示第一个GPU，-1表示CPU
    generator_pipeline = pipeline(
        "text-generation", 
        model=model_name, 
        device=device 
    )
    print(f"模型 {model_name} 已加载到设备：{'GPU' if device == 0 else 'CPU'}")

    # 或者，手动加载以获得更多控制：
    # tokenizer = AutoTokenizer.from_pretrained(model_name)
    # model = AutoModelForCausalLM.from_pretrained(model_name)
    # model.to('cuda' if torch.cuda.is_available() else 'cpu') # 将模型移动到设备

except Exception as e:
    print(f"Error loading model {model_name}: {e}")
    # 处理错误（例如，找不到模型，内存不足）
    exit()

# 3. 准备增强型提示
user_query = "What is the capital of France?"
retrieved_context = "France is a country in Western Europe. Paris is its capital and largest city."

# 基本提示模板
augmented_prompt = f"""
Context: {retrieved_context}
Question: {user_query}
Answer: """

# 4. 使用pipeline生成文本
try:
    # Pipeline处理分词、生成和解码
    responses = generator_pipeline(
        augmented_prompt,
        max_new_tokens=50,  # 限制在提示*之后*生成的令牌数量
        num_return_sequences=1,
        eos_token_id=generator_pipeline.tokenizer.eos_token_id # 在序列结束令牌处停止生成
    )

    generated_text = responses[0]['generated_text']

    # 通常，pipeline的输出包含提示。我们可能只想要答案部分。
    # 简单方法：找到提示的末尾并获取其后的文本。
    answer_part = generated_text[len(augmented_prompt):].strip()

    print("\nLLM响应（答案部分）：")
    print(answer_part)

    # --- 手动生成（如果未使用pipeline） ---
    # inputs = tokenizer(augmented_prompt, return_tensors="pt").to(model.device)
    # outputs = model.generate(**inputs, max_new_tokens=50)
    # decoded_output = tokenizer.decode(outputs[0], skip_special_tokens=True)
    # print("\nLLM响应（手动）：")
    # print(decoded_output)

except Exception as e:
    print(f"Error during text generation: {e}")
    # 处理生成错误

本地模型的考量：

硬件： 运行更大、功能更强的模型需要大量内存，通常还需要强大的GPU（显存 (VRAM)非常重要）。
复杂度： 你负责设置、依赖项、潜在优化（如量化 (quantization)或更快的内核）以及管理模型环境。
模型选择： 选择合适的模型需要平衡性能需求与资源限制。较小的模型速度更快、内存需求更少，但其能力可能不如大型基于API的模型。

使用RAG框架

像LangChain和LlamaIndex这样的框架提供了更高级别的抽象，简化了生成器集成。你通常会在框架的对象中配置你想使用的LLM（无论是基于API的还是本地的）。

示例（LangChain）：

# 注意：这是一个示例，需要安装LangChain和提供商库。

# --- API型LLM的配置 ---
# from langchain_openai import ChatOpenAI
# llm = ChatOpen OpenAI(model_name="gpt-3.5-turbo", temperature=0.7, openai_api_key="你的API密钥")

# --- 通过Hugging Face配置本地LLM ---
# from langchain_community.llms import HuggingFacePipeline
# llm = HuggingFacePipeline.from_model_id(
#     model_id="gpt2", 
#     task="text-generation",
#     pipeline_kwargs={"max_new_tokens": 100},
#     device=0 # 如果可用，使用GPU 0
# )

# --- RAG链的后续部分 ---
# 假设'retriever'已配置且'prompt_template'已定义
# from langchain_core.runnables import RunnablePassthrough
# from langchain_core.output_parsers import StrOutputParser

# rag_chain = (
#     {"context": retriever, "question": RunnablePassthrough()} # 根据输入问题获取背景信息
#     | prompt_template                                        # 格式化提示
#     | llm                                                    # 将增强型提示传递给已配置的LLM
#     | StrOutputParser()                                      # 解析LLM输出字符串
# )

# result = rag_chain.invoke("What is the capital of France?") 
# print(result)

这些框架处理API调用或本地模型交互的样板代码，让你专注于管道逻辑。在下一节中组合组件时，我们会看到更多这种结构。

集成生成器是一个核心步骤。无论你选择API的便利性还是本地模型的控制权，目标都是一样的：为LLM提供用户的提问以及从你的知识库中获取的相关背景信息，使其能够生成有根据且准确的回复。既然我们有了实现检索器和生成器的方法，我们就可以将它们连接起来了。

使用 Kerb 更快构建 LLM 应用

简洁的语法。内置调试功能。从第一天起就可投入生产。

为 ApX 背后的 AI 系统而构建

这部分内容有帮助吗？

参考文献

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela, 2020 Advances in Neural Information Processing Systems, Vol. 33 (Curran Associates, Inc.) DOI: 10.48550/arXiv.2005.11401 - 这篇论文介绍了检索增强生成（RAG）的概念，这是一种将检索器与生成器结合以获得更好知识依据回应的方法。
Hugging Face Transformers Documentation, Hugging Face, 2024 (Hugging Face) - 提供使用 transformers 库加载和运行预训练模型（包括本地LLM）的官方指南和API参考。
OpenAI API Documentation, OpenAI, 2024 (OpenAI) - 官方集成OpenAI模型资源，详细说明API使用、认证和具体模型端点。
LangChain Documentation, LangChain, 2024 - 介绍LangChain框架用于构建LLM应用，提供将LLM作为RAG管道中生成器连接的抽象。

实现生成器集成

有两种主要方法可以将LLM集成到你的RAG管道中：

使用基于云的LLM API： 像OpenAI（GPT模型）、Anthropic（Claude模型）、Cohere、Google（Gemini模型）或Hugging Face（通过其推理API）等服务，通过简单的API调用提供对功能强大的预训练 (pre-training)模型的访问。
运行本地LLM： 你可以直接在自己的基础设施上托管和运行开源模型（如Llama、Mistral或Flan-T5变体），使用诸如Hugging Face的transformers库，或专门的服务框架，如Ollama或vLLM。

让我们看看如何实现这些方法。

通过LLM API进行集成

步骤：

选择提供商和模型： 选择一个API提供商和一个适合你任务的特定模型（例如，gpt-3.5-turbo、claude-3-opus、gemini-pro）。
获取API凭证： 注册服务并获取API密钥。重要提示： 将API密钥视为密码；安全地存储它们（例如，使用环境变量或密钥管理工具），绝不要直接提交到你的代码库中。
安装提供商的库： 使用pip安装必要的Python客户端库（例如，pip install openai、pip install anthropic）。
实例化客户端： 使用你的API密钥初始化客户端库。
格式化提示： 构建提示字符串，清晰地分隔用户查询和检索到的背景信息。这在第4章（“RAG的提示结构”）中有所讨论。
进行API调用： 将格式化后的提示发送到相应的API函数（通常称为create、complete或generate）。
处理响应： 从API响应对象中提取生成的文本。

示例（OpenAI集成）：

# 注意：需要安装'openai'库并设置OPENAI_API_KEY环境变量。

import os
from openai import OpenAI

# 1. 实例化客户端（使用环境变量进行认证）
try:
    client = OpenAI() 
    # api_key也可以显式传递：OpenAI(api_key="你的API密钥")
except Exception as e:
    print(f"Error initializing OpenAI client: {e}")
    # 适当处理错误（例如，退出、记录日志、抛出异常）
    exit()

# 2. 准备增强型提示（示例结构）
user_query = "What were the main findings of the climate report?"
retrieved_context = """
Document Snippet 1: The report highlights a significant increase in global average temperatures...
Document Snippet 2: Key findings include accelerated sea-level rise and more frequent extreme weather events...
"""

augmented_prompt = f"""
Based on the following context, answer the user's query.

Context:
{retrieved_context}

Query: {user_query}

Answer:
"""

# 3. 进行API调用
try:
    response = client.chat.completions.create(
        model="gpt-3.5-turbo", # 或另一个合适的模型
        messages=[
            {"role": "system", "content": "你是一个根据所提供背景信息进行回复的有用助手。"},
            {"role": "user", "content": augmented_prompt}
        ],
        temperature=0.7, # 控制随机性（创造性与确定性）
        max_tokens=150   # 限制生成响应的长度
    )

    # 4. 处理响应
    if response.choices:
        generated_text = response.choices[0].message.content.strip()
        print("LLM响应：")
        print(generated_text)
    else:
        print("未生成响应。")

except Exception as e:
    print(f"Error during OpenAI API call: {e}")
    # 处理API错误（例如，速率限制、认证问题）

API的考量：

成本： 大多数API根据输入和输出的令牌数量收费。处理大量背景信息或生成长响应可能会变得昂贵。
延迟： 网络请求会带来延迟。获取响应所需的时间取决于API提供商的负载和你的网络连接。
数据隐私： 将你的数据（查询和背景信息）发送给第三方服务需要信任其隐私和安全政策。

集成本地LLM

步骤：

选择模型： 选择一个与你的硬件兼容的开源模型（CPU/GPU内存是主要限制）。在Hugging Face Hub上查找选项。
安装库： 安装transformers和一个后端，如PyTorch (torch) 或TensorFlow (tensorflow)。根据模型，你可能需要额外的依赖。（pip install transformers torch）
下载模型权重 (weight)： 首次加载模型时，库通常会下载其权重（这可能需要几千兆字节）。
加载模型和分词 (tokenization)器 (tokenizer)： 实例化模型及其对应的分词器。分词器将文本转换为模型能理解的数字格式。
准备输入： 对增强型提示进行分词。
生成文本： 将分词后的输入传递给模型的generate函数。
解码输出： 使用分词器将模型的数字输出转换回人类可读的文本。

示例（Hugging Face transformers集成）：

# 注意：需要安装'transformers'和'torch'（或'tensorflow'）。
# 根据模型，可能需要大量内存/显存。

from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
import torch # 或 import tensorflow as tf

# 1. 选择一个模型（示例：一个更小、更易于管理的模型）
model_name = "gpt2" # 如果资源允许，请替换为更大/更好的模型，例如："mistralai/Mistral-7B-Instruct-v0.1"

# 2. 加载模型和分词器（首次运行时下载权重）
try:
    # 使用pipeline以获得更简单的接口（处理分词/解码）
    # 指定设备：'cuda'表示GPU（如果可用且已配置），否则为'cpu'
    device = 0 if torch.cuda.is_available() else -1 # pipeline约定：device=0表示第一个GPU，-1表示CPU
    generator_pipeline = pipeline(
        "text-generation", 
        model=model_name, 
        device=device 
    )
    print(f"模型 {model_name} 已加载到设备：{'GPU' if device == 0 else 'CPU'}")

    # 或者，手动加载以获得更多控制：
    # tokenizer = AutoTokenizer.from_pretrained(model_name)
    # model = AutoModelForCausalLM.from_pretrained(model_name)
    # model.to('cuda' if torch.cuda.is_available() else 'cpu') # 将模型移动到设备

except Exception as e:
    print(f"Error loading model {model_name}: {e}")
    # 处理错误（例如，找不到模型，内存不足）
    exit()

# 3. 准备增强型提示
user_query = "What is the capital of France?"
retrieved_context = "France is a country in Western Europe. Paris is its capital and largest city."

# 基本提示模板
augmented_prompt = f"""
Context: {retrieved_context}
Question: {user_query}
Answer: """

# 4. 使用pipeline生成文本
try:
    # Pipeline处理分词、生成和解码
    responses = generator_pipeline(
        augmented_prompt,
        max_new_tokens=50,  # 限制在提示*之后*生成的令牌数量
        num_return_sequences=1,
        eos_token_id=generator_pipeline.tokenizer.eos_token_id # 在序列结束令牌处停止生成
    )

    generated_text = responses[0]['generated_text']

    # 通常，pipeline的输出包含提示。我们可能只想要答案部分。
    # 简单方法：找到提示的末尾并获取其后的文本。
    answer_part = generated_text[len(augmented_prompt):].strip()

    print("\nLLM响应（答案部分）：")
    print(answer_part)

    # --- 手动生成（如果未使用pipeline） ---
    # inputs = tokenizer(augmented_prompt, return_tensors="pt").to(model.device)
    # outputs = model.generate(**inputs, max_new_tokens=50)
    # decoded_output = tokenizer.decode(outputs[0], skip_special_tokens=True)
    # print("\nLLM响应（手动）：")
    # print(decoded_output)

except Exception as e:
    print(f"Error during text generation: {e}")
    # 处理生成错误

本地模型的考量：

硬件： 运行更大、功能更强的模型需要大量内存，通常还需要强大的GPU（显存 (VRAM)非常重要）。
复杂度： 你负责设置、依赖项、潜在优化（如量化 (quantization)或更快的内核）以及管理模型环境。
模型选择： 选择合适的模型需要平衡性能需求与资源限制。较小的模型速度更快、内存需求更少，但其能力可能不如大型基于API的模型。

使用RAG框架

示例（LangChain）：

# 注意：这是一个示例，需要安装LangChain和提供商库。

# --- API型LLM的配置 ---
# from langchain_openai import ChatOpenAI
# llm = ChatOpen OpenAI(model_name="gpt-3.5-turbo", temperature=0.7, openai_api_key="你的API密钥")

# --- 通过Hugging Face配置本地LLM ---
# from langchain_community.llms import HuggingFacePipeline
# llm = HuggingFacePipeline.from_model_id(
#     model_id="gpt2", 
#     task="text-generation",
#     pipeline_kwargs={"max_new_tokens": 100},
#     device=0 # 如果可用，使用GPU 0
# )

# --- RAG链的后续部分 ---
# 假设'retriever'已配置且'prompt_template'已定义
# from langchain_core.runnables import RunnablePassthrough
# from langchain_core.output_parsers import StrOutputParser

# rag_chain = (
#     {"context": retriever, "question": RunnablePassthrough()} # 根据输入问题获取背景信息
#     | prompt_template                                        # 格式化提示
#     | llm                                                    # 将增强型提示传递给已配置的LLM
#     | StrOutputParser()                                      # 解析LLM输出字符串
# )

# result = rag_chain.invoke("What is the capital of France?") 
# print(result)

这些框架处理API调用或本地模型交互的样板代码，让你专注于管道逻辑。在下一节中组合组件时，我们会看到更多这种结构。

使用 Kerb 更快构建 LLM 应用

简洁的语法。内置调试功能。从第一天起就可投入生产。

为 ApX 背后的 AI 系统而构建

这部分内容有帮助吗？

参考文献

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela, 2020 Advances in Neural Information Processing Systems, Vol. 33 (Curran Associates, Inc.) DOI: 10.48550/arXiv.2005.11401 - 这篇论文介绍了检索增强生成（RAG）的概念，这是一种将检索器与生成器结合以获得更好知识依据回应的方法。
Hugging Face Transformers Documentation, Hugging Face, 2024 (Hugging Face) - 提供使用 transformers 库加载和运行预训练模型（包括本地LLM）的官方指南和API参考。
OpenAI API Documentation, OpenAI, 2024 (OpenAI) - 官方集成OpenAI模型资源，详细说明API使用、认证和具体模型端点。
LangChain Documentation, LangChain, 2024 - 介绍LangChain框架用于构建LLM应用，提供将LLM作为RAG管道中生成器连接的抽象。