大语言模型(LLM)是一种旨在理解并生成类似人类文本的人工智能。但它究竟是如何运行的呢?我们先从一个简化的视角来看,暂时不涉及复杂的数学。可以将 LLM 看作是一个高度先进的模式匹配机器,并结合了一个精密的预测引擎。它在海量的文本数据上进行了训练——这些数据包括书籍、文章、网站、代码等等。在这个训练阶段,模型并非像人类那样通过理解意义来“学习”事实。相反,它学习的是单词之间以及单词序列之间的统计关系。它根据无数的例子,找出了在不同语境下哪些单词可能会跟着其他单词出现。例如,在训练数据中看到“The quick brown fox jumps over the lazy...”这个短语数百万次之后,模型会知道“dog”这个词极有可能紧随其后。它学习语法规则、常用短语、事物间的联系(例如“天空”和“蓝色”),甚至写作风格,所有这些都是从数据中得出的模式。因此,当你给 LLM 一个提示(输入文本)时,它并非以人类的方式理解你的请求。相反,它执行以下步骤:分析输入: 它查看你提供的单词序列。查询已学模式: 它使用在训练期间学到的庞大统计模式网络,根据之前处理过的所有内容,确定哪些词最可能接着你的输入序列出现。预测下一个词: 它计算潜在下一个词的概率,并通常选择最可能的那个(或其中一个高度可能的词,这允许一定的创造性)。追加并重复: 它将这个预测的词添加到序列中,然后重复这个过程:它查看新的、更长的序列,并预测下一个最可能的词,依此类推。它一次构建一部分响应,根据提示和它迄今已生成的文本,不断预测接下来应该出现什么。digraph G { rankdir=LR; node [shape=box, style=rounded, fontname="Arial", fontsize=10, color="#1c7ed6", fontcolor="#495057"]; edge [fontname="Arial", fontsize=9, color="#adb5bd"]; Input [label="你的提示\n(例如:'The weather today is')", shape= Mrecord, style=filled, fillcolor="#e9ecef"]; LLM [label="LLM 处理\n- 分析输入\n- 使用训练数据中学到的模式", style=filled, fillcolor="#a5d8ff"]; Output [label="生成文本\n(预测可能的下一个词)\n(例如:'... sunny and warm.')", shape=Mrecord, style=filled, fillcolor="#e9ecef"]; Input -> LLM [label="输入分析"]; LLM -> Output [label="基于模式的预测"]; }一个简化的流程图,展示了 LLM 如何处理提示以生成文本。这种预测性的、逐步进行的流程,就是 LLM 常被描述为大规模“下一个词预测器”的原因。它们生成连贯、与语境相关且常常出人意料地富有创造性的文本的能力,源于其训练数据的庞大规模以及它们学到的模式的复杂性,而非源于真正的理解或意识。在下一节中,我们将更仔细地查看这些模型所处理的“部分”,它们被称为 token。