趋近智
在了解了大型语言模型、它们的参数规模以及GPU和显存等相关硬件组成后,我们现在来看看这些模型是如何实际应用的。它们有两种基本的运行方式:使用一个已有的模型来生成结果(推理),以及构建或调整模型的过程(训练)。
这些不同的活动对前面提到的硬件资源有着显著不同的需求。弄明白推理与训练的区别,有助于理解为何某些硬件配置仅适合运行LLM,而另一些则对开发或微调是必需的。
本章将涵盖以下几点:
通过比较这两种过程的资源需求,我们能更好地理解稍后讨论的硬件估算方法。
4.1 什么是模型推理?
4.2 推断的硬件需求
4.3 什么是模型训练?
4.4 训练的硬件需求
4.5 专注于推理需求
© 2026 ApX Machine Learning用心打造