少量样本提示技巧

大型语言模型（LLM）具有很强的能力，但相比只被告知做什么，当被展示如何完成任务时，它们的表现通常更好。少量样本提示就派上用场了。少量样本提示是一种直接在提示中包含几个完成任务的示例（样本）的技术。这与零样本提示不同，零样本提示是一种只提供指令而没有任何示例的方法。

可以把它看作是在要求模型解决新问题之前，给它一个迷你教程。这些示例作为演示，引导模型达到预期的输出格式、风格或推理过程。这种方法对于期望输出结构具体明确的任务，或者当任务本身需要某种模式而仅凭指令无法立即看出时，尤其有效。

零样本、单样本与少量样本

让我们明确一下这些区别：

• 零样本： 提示只包含指令和输入。模型完全依靠其预训练的知识。
  • 示例： Translate to French: Hello world
• 单样本： 提示在实际输入前包含一个示例。这为模型提供了一次演示。
  • 示例:

    Translate to French:
    sea otter => loutre de mer
    Hello world =>
    

• 少量样本： 提示提供多个示例（通常是2到5个，有时会更多）。这提供了更强的引导，并帮助模型更好地归纳模式。
  • 示例:

    Translate to French:
    sea otter => loutre de mer
    cheese => fromage
    blue sky => ciel bleu
    Hello world =>
    

为什么使用少量样本提示？

提供多个示例有以下几个好处：

1. 准确性提升： 对于许多任务，特别是涉及特定格式或分类的任务，少量样本提示的表现明显优于零样本提示。这些示例限制了模型可能的输出。
2. 格式控制： 如果您需要精确的输出格式（如JSON、特定的首字母大写或某种句子结构），少量样本示例是说明这一点的有效方法。
3. 任务明确： 复杂的指令有时可能模糊不清。示例可以具体说明预期结果。
4. 处理新任务： 当要求模型执行它在训练期间可能未明确见过的任务（但涉及它确实理解的模式）时，少量样本学习有助于模型快速适应。

在Python中构建少量样本提示

在Python中，您可以使用简单的字符串格式化方法，或者使用LangChain等库的更结构化方法来构建少量样本提示。

基本字符串格式化

您可以使用f-strings或str.format()来动态构建提示。

# 输入/输出对的示例
examples = [
    {"input": "A friendly water mammal.", "output": "sea otter"},
    {"input": "A dairy product made from milk.", "output": "cheese"},
    {"input": "The color of the atmosphere on a clear day.", "output": "blue sky"}
]

# 我们希望模型处理的新输入
new_input = "A large, gray animal with a trunk."

# 构建提示字符串
prompt_parts = ["Identify the object from the description.\n"]
for example in examples:
    prompt_parts.append(f"Description: {example['input']}")
    prompt_parts.append(f"Object: {example['output']}\n") # 添加换行符用于分隔

# 添加最终输入
prompt_parts.append(f"Description: {new_input}")
prompt_parts.append("Object:") # 提示模型给出最终输出

final_prompt = "\n".join(prompt_parts)

print(final_prompt)

# 预期输出:
# Identify the object from the description.
#
# Description: A friendly water mammal.
# Object: sea otter
#
# Description: A dairy product made from milk.
# Object: cheese
#
# Description: The color of the atmosphere on a clear day.
# Object: blue sky
#
# Description: A large, gray animal with a trunk.
# Object:

这个final_prompt字符串随后会被发送到LLM API。模型会识别示例中的模式，并很可能输出“elephant”。

使用LangChain构建结构化提示

像LangChain这样的框架提供了管理提示的方法，特别是少量样本提示。您可以使用FewShotPromptTemplate之类的类。（我们已经在第4章了解了PromptTemplate；FewShotPromptTemplate在此基础上构建）。

from langchain_core.prompts import FewShotPromptTemplate, PromptTemplate

# 定义示例
examples = [
    {"input": "happy", "output": "sad"},
    {"input": "tall", "output": "short"},
]

# 定义每个示例的格式模板
example_prompt = PromptTemplate.from_template("Input: {input}\nOutput: {output}")

# 定义整体的少量样本提示模板
few_shot_prompt = FewShotPromptTemplate(
    examples=examples,
    example_prompt=example_prompt,
    prefix="Give the antonym of the input word.",
    suffix="Input: {user_input}\nOutput:", # {user_input} 是最终输入的变量
    input_variables=["user_input"], # 指定最终输入的变量名
    example_separator="\n\n" # 示例之间的分隔符
)

# 为新输入格式化提示
final_prompt = few_shot_prompt.format(user_input="hot")

print(final_prompt)

# 预期输出:
# Give the antonym of the input word.
#
# Input: happy
# Output: sad
#
# Input: tall
# Output: short
#
# Input: hot
# Output:

使用FewShotPromptTemplate可以使示例管理、格式化和整体提示结构更清晰，尤其当提示变得更复杂时。

选择有效的示例

示例的质量非常重要。糟糕的示例可能会让模型困惑或导致它重复错误。请记住以下几点：

• 相关性： 示例应与您希望模型执行的实际任务紧密匹配。
• 清晰度： 每个示例中的输入-输出关系应清晰明确，没有歧义。
• 一致性： 确保示例中输出的格式和风格与您对新输入的期望保持一致。
• 多样性（如适用）： 如果任务涉及变体，请尝试包含涵盖不同方面或边缘情况的示例。但不要让示例相互矛盾。
• 准确性： 仔细检查您的示例是否正确。模型会从中学习，包括任何错误。

何时使用少量样本提示

少量样本提示在以下情况中特别有效：

• 文本分类： 引导模型使用特定的类别标签。
• 格式转换： 将数据从一种结构转换为另一种结构（例如，文本到JSON）。
• 代码生成： 提供特定模式的代码片段示例。
• 风格控制： 确保响应遵循特定的语气或风格（例如，正式、非正式、诗意）。
• 复杂指令： 当简单指令不足时，通过演示来分解任务。

考量与限制

少量样本提示虽然功能强大，但也有一些方面需要考虑：

• 上下文窗口限制： 每个示例都会给您的提示增加token。LLM有最大的上下文窗口大小（它们一次可以处理的总token数）。过多的示例可能会超出此限制。
• 成本： LLM API调用通常根据输入和输出token的数量定价。包含大量示例的更长提示将增加每次API调用的成本。
• 示例选择工作量： 寻找或创建好的示例需要仔细思考，并可能需要一些实验。

少量样本提示是实际提示工程中的一种基本方法。通过在提示中提供具体示例，您可以大大增强引导LLM行为的能力，并获得更可靠、准确且格式正确的结果，尤其是在使用Python以编程方式实现这些提示时。