温度与创造力

编写提示有助于告诉您的本地大型语言模型 (LLM) 您希望它做什么。提出清晰问题并给出具体指令是实现此目标的主要技能。然而，有时您可能会注意到 LLM 的回复风格各异。它们可能非常直接且可预测，或者更具想象力且出人意料。影响此的一个因素是常被称为“温度”的参数。

将温度看作是控制大型语言模型输出随机性或“创造性”的调节旋钮。在生成文本时，模型会不断计算下一个词（或更准确地说，是 token）的概率。温度设置会调整模型使用这些概率的方式。

• 低温度（例如，接近 0 的值，如 0.1 到 0.5）： 在低温度下，模型确定性更强，更集中。它强烈倾向于选择计算概率最高的词。这使得输出高度可预测、一致且常常重复。如果您以非常低的温度多次提出相同问题，您很可能会得到几乎相同的答案。此设置对需要精确性和依据事实的任务很有用，例如提取特定信息或根据严格规则生成代码。

• 高温度（例如，大于 1 的值，如 1.1 到 2.0）： 在高温度下，模型更具“冒险性”。它增加了选择可能性较低词语的机会，有效地使概率分布变得“平坦”。这带来更多的随机性、惊喜和创造性。然而，如果温度设置过高，生成的文本可能会变得不连贯、毫无意义或偏离原始提示的上下文。高温度对于头脑风暴、创作小说或生成不同类型的想法很有意思，但需要小心使用。

• 中等温度（例如，0.7 到 1.0 左右的值）： 此范围通常提供可预测性与创造性之间的平衡。模型遵循最可能的路径，但允许一定的变化。许多聊天应用程序在此范围内使用默认温度进行一般性对话。

让我们用一个简化的例子来说明。想象模型已处理了输入“The cat sat on the”，并需要选择下一个词。它计算了潜在词语的概率：

词语	概率 (原始, T=1.0)	概率 (低温度, 例如 0.2)	概率 (高温度, 例如 1.5)
mat	0.80	~0.99	~0.60
chair	0.15	~0.01	~0.25
windowsill	0.04	<0.01	~0.10
moon	0.01	<0.01	~0.05

在低温度下，模型几乎肯定会选择“mat”。在高温度下，“chair”、“windowsill”甚至毫无意义的“moon”都成为模型更可能选择的选项，导致更多样化（且可能奇怪）的输出。

“The cat sat on the”之后下一个词在不同温度设置下的概率。低温度强烈偏爱最可能的词（“垫子”），而高温度使不太常见的词更有可能被选中。

温度设置在哪里

您不会总是直接看到温度设置，尤其是在最简单的命令行交互中。然而，像 LM Studio 这样的图形工具通常会显著显示它。查找聊天或模型设置面板中标有“Temperature”的滑块或输入字段。它通常允许 0 到 2 之间的值。一些命令行工具或库（例如通过其 API 使用 Ollama 时）也允许您设置温度，但这可能需要特定的标志或配置选项。

何时调整温度

选择合适的温度取决于您的目标：

• 低温度 (0.1 - 0.5) 适用于：

  • 精确性很重要的事实问答。
  • 严格依据源内容进行文本摘要。
  • 代码生成或精确遵循复杂指令。
  • 对相同输入获得一致的输出。

• 中等温度 (0.6 - 1.0) 适用于：

  • 一般聊天机器人对话。
  • 平衡的创意写作（例如，撰写电子邮件、起草内容）。
  • 保持连贯性仍然重要的头脑风暴。

• 高温度 (1.1 - 2.0) 适用于：

  • 生成高度创造性或出人意料的文本（诗歌、小说）。
  • 尝试多种可能性或替代措辞。
  • 尝试使模型摆脱重复循环（谨慎使用）。

尝试不同温度设置

理解温度的最佳方式是实践。在像 LM Studio 这样的工具中，尝试使用相同的提示词和不同的温度设置：

1. 提出一个简单问题（例如，“法国的首都是什么？”），并将温度设置为 0.1。然后再次提问。注意其一致性。
2. 将温度设置为 1.5，再次提出相同问题。再次提问。观察其变化，以及可能出现的错误或无关信息。
3. 给出诸如“写一首关于下雨天的短诗”这样的指令。分别用 0.5、1.0 和 1.5 的温度尝试。比较其结构、措辞和整体创造性。

温度是您影响大型语言模型输出风格和多变性的主要方式之一，补充您通过提示对内容的控制。理解并调整它，能让您更好地控制与本地大型语言模型的交互。