训练数据规模的作用

在前面的章节中，我们明确了大型语言模型通过处理海量文本数据进行学习，本质上是学习预测序列中的下一个词。现在，我们来关注一个决定大型语言模型能力的重要因素：其训练阶段所使用的文本数据总量。

想想人类是如何学习语言的。儿童通过相对有限的接触学习基本的词汇和语法。然而，要形成对语言精妙之处、语境、不同写作风格以及广泛主题的精深理解，需要多年时间进行广泛阅读，接触多种形式的语言。大型语言模型也遵循类似的原理，但其规模惊人。

更多数据，更优模式

大型语言模型的核心任务是预测下一个词（或词元），这依赖于识别语言中的模式。模型看到的例子越多，识别这些模式的能力就越强。这包括：

• 语法与句法： 正确的句子结构、标点符号和词序。
• 语义关系： 理解“国王”与“王后”的关系，或“苹果”是一种“水果”。
• 语境线索： 学习周围词语如何改变句子的含义或合适的延续。
• 事实关联： 关联经常一起提及的术语（例如，“巴黎”和“法国”）。
• 风格与语调： 识别出正式文体、日常对话、诗歌或技术文档之间的差异。

在一个小型数据集上训练的模型可能学会基本的句子构建，但它将难以应对复杂的想法、精妙的幽默或专业术语。在庞大的数据集上进行训练（这些数据集通常包含公共互联网、书籍、文章及其他文本源的很大一部分，字数达到数千亿甚至数万亿），使模型接触到这些模式的极大多样性。

训练数据规模

当我们提及大型语言模型中的“大型”时，训练数据集的大小是一个主要因素。我们通常指的是数太字节（TB）的文本数据。为了更好地理解这一点，英文维基百科的全部文本内容虽然可观，但它仅占训练主要大型语言模型所用数据的一小部分。

如此大量的接触使模型能够构建更丰富的语言内部表征。它遇到无数示例，了解词语的使用方式，使其能够生成更连贯、更相关且更符合语境的文本。

该图表说明了增加训练数据量通常会提升大型语言模型的语言能力，尽管在某个点之后，收益可能会递减。

数据量、模型大小与表现

训练数据量、模型参数数量（我们将在下一节讨论）以及模型的整体表现之间存在密切关联。参数越多的模型通常有能力学习更复杂的模式，但它们需要相应更大的数据集来有效训练，而非简单地记忆输入。给一个大型模型相对小的数据集可能不会产生好的结果。反之，给一个小型模型提供海量数据集可能效率不高，因为模型缺乏捕获数据中所有细节的能力。找到正确的平衡是大型语言模型发展中很重要的一部分。

质量也很重要

数量固然重要，但训练数据的质量也必不可少。如果训练数据充满错误、偏见或有害内容，模型就会学习并复制这些不理想的模式。确保数据质量、多样性和安全性是人工智能发展中的一项重大挑战和持续的研究方向。有偏见的数据可能导致有偏见的输出，反映文本来源中存在的社会不平等。

总而言之，用于训练大型语言模型的庞大体量文本数据是其理解和生成类人文本能力的核心所在。这些数据提供了原材料，模型从中学习语言的复杂模式，使其能够执行各种任务。