在对大型语言模型有了初步了解后,本章将简要介绍其内部运作方式。我们将了解这些模型如何处理和生成文本。你将学到:如何将文本分解为称为分词(tokens)的单元,并通过嵌入(embeddings)进行数值表示。作为文本生成依据的预测下一个词的基本理念。训练数据量和模型参数($P$)在决定大型语言模型能力方面的重要性。Transformer架构的简要概览,它是这些模型的一种常见结构。前置文本,或称上下文,如何影响模型的输出。本章为大型语言模型的运作方式提供了理论基础,无需深厚的数学或编程知识。