章节 2: 大型语言模型的工作原理（简化版）

在对大型语言模型有了初步了解后，本章将简要介绍其内部运作方式。我们将了解这些模型如何处理和生成文本。

你将学到：

• 如何将文本分解为称为分词 (tokenization)（tokens）的单元，并通过嵌入 (embedding)（embeddings）进行数值表示。
• 作为文本生成依据的预测下一个词的基本理念。
• 训练数据量和模型参数 (parameter)（$P$）在决定大型语言模型能力方面的重要性。
• Transformer架构的简要概览，它是这些模型的一种常见结构。
• 前置文本，或称上下文 (context)，如何影响模型的输出。

本章为大型语言模型的运作方式提供了理论基础，无需深厚的数学或编程知识。