模型压缩的动因

“正如我们之前谈到的，成功训练大型语言模型常常会产生包含数十亿甚至数万亿参数的模型。虽然这些大模型展现出强大的能力，但其庞大的规模在从实验室或训练集群转向实际应用时，会带来不少实际困难。模型压缩的必要性直接源于这些挑战，主要集中在内存需求、推理时的计算负担以及相关的运营成本。”

内存瓶颈

考虑一个拥有70亿参数的模型。如果每个参数都使用标准的32位浮点精度（$FP32$）存储，每个参数占用4字节，那么仅仅加载模型权重所需的内存就非常可观：

$$\text{内存占用} = \text{参数数量} \times \text{每参数字节数}$$ $$\text{内存占用} = 7 \times 10^9 \text{ 参数} \times 4 \text{ 字节/参数} = 28 \times 10^9 \text{ 字节} = 28 \text{ GB}$$

这个28 GB的计算仅考虑了模型权重本身。在推理时，还需要额外的内存用于激活、临时计算以及键值（KV）缓存（我们将在第28章谈到它），尤其是在处理长序列或批量处理多个请求时。高端GPU通常配备24 GB、40 GB或80 GB的高带宽内存（HBM），但即使是这些对于最大的模型或有效提供多个模型副本也可能不足。需要这种高内存硬件会大幅增加部署成本，并限制模型可以在哪些类型的设备上运行。

import torch
import torch.nn as nn

# 示例：大型线性层维度
hidden_dim = 4096
intermediate_dim = 11008 # 在约70亿参数模型中很常见

# 仅一个前馈块的线性层中的参数
ffn_layer1 = nn.Linear(hidden_dim, intermediate_dim, bias=False)
ffn_layer2 = nn.Linear(intermediate_dim, hidden_dim, bias=False)

params_ffn1 = hidden_dim * intermediate_dim
params_ffn2 = intermediate_dim * hidden_dim

total_ffn_params = params_ffn1 + params_ffn2
# 一个典型的约70亿参数模型有许多这样的层（约32个），外加注意力机制、嵌入层等...
print(f"一个FFN块中的参数（约）：{total_ffn_params:,}")
# 输出：一个FFN块中的参数（约）：90,177,536

# 估算这些参数在FP32下的内存
memory_ffn_gb = (total_ffn_params * 4) / (1024**3)
print(f"一个FFN块所需的内存（FP32，约）：{memory_ffn_gb:.2f} GB")
# 输出：一个FFN块所需的内存（FP32，约）：0.34 GB
# 乘以层数（约32）-> 仅FFN权重就约10.8 GB！

这个简单的计算表明，内存需求增长得多么迅速，甚至还没有考虑注意力机制和嵌入表。

估算不同模型大小在32位精度下仅存储模型权重所需的内存。

推理延迟和吞吐量

除了内存，通过这些大型网络进行一次前向传播的计算成本也很高。自回归生成是大型语言模型生成文本的常见方式，它需要模型为每个生成的token顺序运行。尽管像KV缓存（第28章）这样的技术有所帮助，但每个token所需的矩阵乘法和其他操作数量之多，给延迟设定了下限。

对于聊天机器人、编码助手或实时翻译等交互式应用，高延迟会导致糟糕的用户体验。即使是文档摘要等离线任务，缓慢的推理速度也会增加处理大型数据集所需的时间。此外，每个请求的高延迟会限制部署的总体吞吐量（每秒处理的请求数），需要更多的并行硬件实例来处理给定的负载，这又会推高成本。

运营成本和可用性

高内存需求和巨大的计算负担结合在一起，直接转化为更高的运营开支：

1. 硬件成本： 部署大型语言模型通常需要昂贵的高端GPU或专用加速器。扩展服务需要配置大量此类设备。
2. 能耗： 这些强大的硬件组件消耗大量电力，增加了运营成本，也引发了环境问题。
3. 基础设施复杂性： 管理用于推理的专业硬件集群，会增加部署和维护流程的复杂性。

这些因素设置了障碍，使得在某些情境下部署先进的大型语言模型变得困难或不可能：

• 设备端部署： 由于严格的内存、功耗和散热限制，直接在智能手机、笔记本电脑或嵌入式系统上运行模型通常不可行。模型压缩对于实现涉及大型语言模型的边缘AI应用很重要。
• 资源受限环境： 缺乏大规模云计算基础设施的研究人员、初创公司或组织可能会觉得部署大型模型过于昂贵。
• 可扩展性： 即使是大型组织，在经济高效地扩展推理基础设施以服务数百万用户时也面临挑战。更高效的模型可以减轻这种负担。

模型压缩技术提供了一种缓解这些挑战的途径。通过减少内存占用和计算需求，我们可以：

• 在成本较低、更容易获得的硬件上部署模型。
• 降低推理延迟，提升交互式应用的用户体验。
• 降低运营成本（硬件、能源）。
• 使模型能够部署在资源受限的环境中，包括边缘设备。
• 促进更广泛地使用强大的语言建模能力。

接下来的章节将探讨实现这些目标的主要方法：量化、剪枝和知识蒸馏。每种技术都涉及权衡，通常是用一定程度的模型性能换取效率上的大幅提升。理解这些方法及其影响，对于任何负责将大型语言模型投入生产的工程师来说都很重要。