理解上下文窗口

想象你正在进行一场对话。你自然会记住最近说过的话，但很久以前的细节可能会模糊。大型语言模型也有类似的东西，一种有限的记忆，称为上下文 (context)窗口。

上下文窗口是模型在生成下一个回复时能够“看到”或“记住”的文本量。这包括你最近的提示以及对话（或你提供的文档）的先前部分。可以把它看作模型的短期记忆。你输入的所有内容和模型输出的所有内容都会填充这个窗口。

上下文 (context)是如何衡量的？

标记（token）是大型语言模型处理文本的基本单位，通常代表单词的一部分、整个单词或标点符号。上下文窗口的大小通常以其能容纳的标记数量来衡量。一个模型可能有一个2048个标记、4096个标记，甚至更大的数字，如32,000个标记或更多的上下文窗口。数量越大，意味着模型可以一次处理更多的文本。

为什么上下文 (context)窗口很重要？

上下文窗口的大小直接影响模型处理某些任务的效果：

1. 保持对话： 在聊天中，上下文窗口保存着你互动的历史。如果对话长度超过窗口大小，最早的部分就会被模型“遗忘”。它会丢失聊天开始时的上下文。
2. 处理长文档： 如果你让大型语言模型总结一篇长文章或回答有关问题，整个相关文本需要适应上下文窗口，模型才能有效处理。
3. 理解复杂指令： 多部分指令或引用先前信息的提示依赖上下文窗口来记录所有内容。

一个例子：滑动窗口

可以把上下文 (context)窗口想象成一个固定大小的滑动窗口，在你的对话历史记录上移动。随着新文本（你的提示或模型的回复）的加入，窗口向前滑动。如果总文本超过窗口大小，最旧的文本就会移出视野。

让我们用一个简化过的例子来说明。想象一个上下文窗口非常小的模型，比如说，只够15个词。

交互：

1. 你： 写一首关于猫的短诗。 (7个词)
2. 模型： 毛茸茸的朋友，如此光滑整洁，在阳光下小憩，一份舒适的享受。 (13个词)
   • 已用上下文：7 (你的) + 13 (模型的) = 20个词。

• 窗口内容（最后15个词）：“……如此光滑整洁，在阳光下小憩，一份舒适的享受。”（“猫”这个词可能已经被挤出去了）。

3. 你： 现在写一首关于狗的。 (6个词)
4. 模型： 摇着尾巴，快乐地吠叫，在公园里玩捡球。 (12个词)
   • 已用上下文：6 (你的) + 12 (模型的) = 18个词被添加。

• 窗口内容（最后15个词）：“……快乐地吠叫，在公园里玩捡球。”（关于猫的信息，甚至可能是“整洁”这个词也消失了）。

5. 你： 我最开始问的是什么动物？ (8个词)
6. 模型： 根据我们最近的对话，我们讨论了一只狗。 (10个词)

在这个简化案例中，因为“猫”从小的上下文窗口中掉了出去，模型无法回忆起来。真实的LLM有更大的窗口，但原理是相同的。

这是一个简化示意图，展示了在回合3时，回合1的信息如何可能超出有限的上下文窗口，导致模型只能记住回合2和回合3的信息。

模型差异和实用建议

不同的模型带有不同的上下文 (context)窗口大小。当你在学习如何寻找模型（第三章）时，你可能见过诸如“4k上下文”或“32k上下文”这样的规格。这指的是模型支持的大约标记 (token)数量（分别是4096或32768）。更大的上下文窗口通常需要更多的计算资源（特别是内存和显存 (VRAM)，如第二章所述）。

对于基本的聊天，即使是中等大小的上下文窗口（例如4096个标记）通常也足够了。然而，如果你计划处理非常长的文档或进行扩展的复杂对话，选择一个具有更大上下文窗口的模型就变得更为重要。

你通常不需要手动计算标记。你使用的工具（如第四章中介绍的Ollama或LM Studio）通常会自动管理上下文窗口，根据需要截断对话中最旧的部分。然而，了解这个限制有助于你理解为什么模型有时在长时间聊天中似乎会“忘记”你之前提到过的事情。如果你发现这种情况，你可能需要在提示中重新说明重要的信息来提醒模型。

理解上下文窗口对于有效的提示是十分重要的。它有助于解释模型的对话记忆限制，并指导你如何构建交互，尤其是在交互变得更长或更复杂时。