理解编译器优化报告

尽管性能分析工具提供执行期间发生了什么的详细运行时测量数据，但它们不总是解释为什么。编译器优化报告提供了补充视角，对编译过程本身的决策提供了了解。理解这些报告是诊断源于编译器转换策略的性能问题的必要能力。

机器学习 (machine learning)编译器，如XLA、TVM、Glow或供应商专用工具，通常在指定时生成详细日志。这些日志记录了所应用的优化遍的顺序、在中间表示 (IR) 上执行的具体转换，有时还会说明某些优化未被应用的原因。仔细查看这些信息可以展示重要细节，说明您的高层模型图如何转换为低层次、特定于硬件的代码。

优化报告中的关注点

优化报告的结构和内容在不同编译器之间显著不同。然而，常见内容通常包括：

优化遍顺序： 已执行的优化遍列表，通常按顺序排列。这有助于理解转换流程。
转换日志： 关于IR中具体更改的详细信息。这可能包括节点融合、循环分块、数据布局改变或代数简化应用。
诊断信息： 关于潜在问题或优化决策原因的警告或信息性消息。例如，报告可能解释为什么由于不兼容的数据布局或依赖关系而无法融合两个操作。
资源分配信息： 关于寄存器压力估算、静态规划的内存使用计算或并行执行调度决策的说明。
内核生成详情： 关于生成内核的信息，可能包括它们的名称或签名、使用的目标硬件特性（如Tensor Cores或特定的SIMD指令），以及选定的配置（线程块大小、分块大小）。
IR快照（可选）： 一些编译器允许在不同阶段转储IR，当与报告日志关联时，这对详细分析非常有用。

报告与优化目标的关联

让我们看看报告如何明确具体的优化结果：

图级别优化：

算子融合： 报告通常明确记录融合决策。您可能会看到类似“将操作 Conv2D_1 与 BiasAdd_1 和 Relu_1 融合到 FusedConv2DBiasRelu_1”的消息。反之，您可能会发现解释融合失败原因的消息，例如，“无法融合 OpA 和 OpB：维度不匹配或存在中间依赖”。这与性能分析工具观察到的内核启动开销直接相关；更少、更大的融合内核应能减少此开销。
布局转换： 日志可能指示如下更改：“将张量 T1 从NCHW转换为NHWC以用于目标 GPU_XYZ”或“为 OpC 插入布局转置”。如果性能分析显示内存密集型操作延迟高，查看报告中的布局决策是一个不错的起点。编译器是否为操作序列和目标硬件选择了最佳布局？

编译器报告可能会记录将单独的Conv2D、BiasAdd和ReLU操作转换为单个融合内核。

张量级别优化：

分块和循环转换： 多面体编译器或循环优化器通常报告选定的分块大小、循环排列或倾斜因子。消息可能类似“为 MatMul_1 的循环嵌套进行分块，分块大小为 [64, 64, 16]”或“应用循环排列 (i, j, k) -> (j, k, i)”。如果性能分析工具显示内核缓存利用率低或并行度不足，检查报告中的分块策略可以表明是否存在次优选择。
向量 (vector)化： 报告可能显示向量化 (quantization)成功（“使用AVX512对 Kernel_X 的内循环进行向量化”）或失败原因（“无法向量化循环：存在不可向量化指令或复杂控制流”）。这有助于理解VTune等性能分析工具报告的CPU利用率和指令组合。

量化：

报告对理解量化如何实现很重要。查找详细记录以下内容的日志：
- 量化/反量化操作的插入点。
- 选定的缩放因子和零点（尤其是对于PTQ）。
- 操作到低精度内核的映射（例如，“为 QuantizedMatMul_5 使用INT8 GEMM内核”）。
- 回退操作：如果使用混合精度，哪些操作保留在FP32或FP16中。

连接报告与性能分析数据

真正的作用在于将性能分析工具的发现与编译器报告结合。

首先进行性能分析： 找出最耗时的内核或操作及其特点（计算密集型、内存密集型、高延迟）。
查阅报告： 在编译器日志中搜索与这些特定操作或与观察到的瓶颈相关的优化条目。
- 内核启动开销高？ 检查报告中的融合活动。是否成功？是否留下了许多小型、未融合的内核？
- 算术强度低 / 内存密集型？ 检查报告中的分块、预取和数据布局决策。数据移动是否优化？
- 计算单元利用率不足（例如，浮点运算低）？ 查找向量 (vector)化报告、线程映射策略（针对GPU）或专用单元（Tensor Cores）的使用。
- 量化 (quantization)模型精度问题？ 检查报告中哪些层被量化、使用的参数 (parameter)以及QAT特定遍是否正确运行。

挑战与最佳实践

理解编译器报告并非总是直截了当：

冗长： 报告可能极其冗长且详细。使用 grep、awk 或自定义脚本等工具过滤相关信息。编译器标志通常用于控制冗长程度或记录特定遍（例如，TF_XLA_FLAGS=--xla_dump_to=/path/，TVM的PassContext日志记录）。
编译器特有术语： 每个编译器都有自己的术语和IR命名约定。通常需要熟悉特定编译器的文档和内部运作方式。
映射到源码： 将关于优化后的内部IR节点（例如，HLO_Fusion_123）的日志条目与原始TensorFlow或PyTorch操作关联起来，需要理解编译器的命名方案或使用可用的调试信息。
“静默失败”： 有时，某个优化未被应用，但报告没有明确说明原因。这通常需要更详细的分析，可能涉及转储并检查预期遍前后的IR。

尽管存在这些挑战，积极使用编译器报告是专家级机器学习 (machine learning)性能工程师工具包中不可或缺的部分。它们解释了性能分析工具中观察到的“是什么”背后的“为什么”，从而实现更有针对性的优化工作、更好的编译器标志调整，有时甚至能指导对原始模型架构本身进行有益的修改。

这部分内容有帮助吗？

参考文献

LLVM Optimization Remarks, The LLVM Project, N.D. - 描述了LLVM等现代编译器如何生成详细的优化报告，包括成功的转换、错过的机会和诊断信息，这与本节内容密切相关。
The Polyhedral Model for Loop Optimization, Paul Feautrier, 2007 (Springer US) DOI: 10.1007/978-0-387-39129-8_1 - 为平铺、融合和置换等高级循环转换提供了理论基础，这些转换对性能优化至关重要，并经常在编译器报告中有所记录。
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference, Benoit Jacob, Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, Hartwig Adam, and Dmitry Kalenichenko, 2018 Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (IEEE) DOI: 10.1109/CVPR.2018.00097 - 介绍了一种广泛采用的深度神经网络量化方法，用于高效的纯整数算术推理，解释了相关技术及其影响，这些内容会出现在编译器量化报告中。