优化大型语言模型，通过量化 (quantization)或剪枝等方法，解决了模型大小和计算复杂性问题。然而，实现大幅度推理 (inference)速度提升需要模型与底层硬件和系统软件的有效配合。本章将侧重于加速大语言模型 (LLM)执行的方法，即根据特定硬件能力调整计算方式并优化周边系统组件。

您将了解到：

• 将大语言模型核心操作，例如注意力机制 (attention mechanism)和矩阵乘法，映射到不同的硬件架构上，包括CPU、GPU和专用加速器。
• 管理大语言模型庞大内存需求的策略，包括激活检查点和高效缓存等技术。
• 运用专用的、高度优化的软件例程（核函数）进行大语言模型核心计算，以最大化硬件吞吐量 (throughput)。
• 编译器如何通过算子融合和内存布局优化等技术提升性能。
• 采用张量并行和流水线并行，实现跨多个设备的分布式推理方法。
• 专门设计用于加速生成过程的算法，例如推测解码。
• 跨不同硬件平台的性能基准测试系统化方法。
• 优化框架和运行时（例如ONNX Runtime、TensorRT或vLLM）的实际操作。

理解这些硬件和系统层面的优化，有助于弥合理论上压缩模型与实际快速部署之间的差距。