趋近智
在了解了大型语言模型、它们的参数 (parameter)规模以及GPU和显存 (VRAM)等相关硬件组成后,我们现在来看看这些模型是如何实际应用的。它们有两种基本的运行方式:使用一个已有的模型来生成结果(推理 (inference)),以及构建或调整模型的过程(训练)。
这些不同的活动对前面提到的硬件资源有着显著不同的需求。弄明白推理与训练的区别,有助于理解为何某些硬件配置仅适合运行LLM,而另一些则对开发或微调 (fine-tuning)是必需的。
本章将涵盖以下几点:
通过比较这两种过程的资源需求,我们能更好地理解稍后讨论的硬件估算方法。
4.1 什么是模型推理?
4.2 推断的硬件需求
4.3 什么是模型训练?
4.4 训练的硬件需求
4.5 专注于推理需求