ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

针对机器学习任务的高级编译器与运行时优化
章节 1: 开篇:机器学习执行栈与挑战
机器学习模型部署差距
机器学习编译器与运行时栈概览
机器学习推理中的性能瓶颈
ML加速硬件
专门优化的必要性
章节 2: 机器学习的高阶中间表示
传统编译器IR的局限性
多级中间表示的原理
MLIR:方言和操作
表示高层ML图(例如TF, TOSA)
MLIR 中的下沉路径
可扩展性与自定义方言
动手实践:分析 MLIR 表示
章节 3: 高级图级别优化
图重写系统
激进的算子融合技术
内存感知布局转换
高级代数简化
静态内存规划与分配
图中的控制流处理
实践操作:实现组合操作遍
章节 4: 张量级优化与多面体建模
将张量计算表示为循环嵌套
多面体建模简介
迭代域、访问函数和依赖
调度变换 (倾斜变换, 分块)
多面体调度下的代码生成
自动向量化技术 (SIMD)
内存层级优化:分块和预取
动手实践:使用多面体工具优化循环
章节 5: 异构硬件的代码生成
目标硬件指令选择
向量/矩阵单元的寄存器分配
GPU 代码生成:CUDA 和 ROCm 后端
为张量核心和矩阵单元生成代码
针对AI加速器(TPU、NPU)的代码生成
用于异构执行的中间格式 (SPIR-V)
供应商专用编译器工具链和库 (cuDNN, MIOpen)
动手实践:分析生成的GPU核函数
章节 6: 高级机器学习运行时系统
运行时架构概览
处理动态形状和大小
高效内存管理策略
异步执行与调度
异构系统调度
整合定制算子与核函数
机器学习框架的互操作性
动手实践:实现一个简单的分配器
章节 7: 面向机器学习的即时 (JIT) 编译技术
ML中JIT编译的动因
追踪与脚本方法
JIT系统中的中间表示
运行时专门化与多态性
即时编译器(JIT)中的配置文件引导优化(PGO)
自适应与多层编译
案例分析:TensorFlow XLA
案例研究:PyTorch JIT (TorchScript)
实践操作:分析JIT编译代码
章节 8: 量化与低精度优化
模型量化基础 (INT8, FP8)
在IR中表示量化操作
量化感知训练 (QAT) 的编译器处理过程
训练后量化 (PTQ) 编译流程
生成低精度核函数
混合精度计算优化
量化比例和零点的处理
动手实践:量化操作的降级处理
章节 9: 性能分析工具
编译后的机器学习代码性能分析中的挑战
系统级性能分析 (CPU、GPU、互连)
CPU 性能分析 (VTune, perf)
GPU核心性能分析 (Nsight Compute, ROCprof)
关联框架操作与编译内核
内存访问模式分析
理解编译器优化报告
动手实践:分析优化模型的性能

理解编译器优化报告

尽管性能分析工具提供执行期间发生了什么的详细运行时测量数据,但它们不总是解释为什么。编译器优化报告提供了补充视角,对编译过程本身的决策提供了了解。理解这些报告是诊断源于编译器转换策略的性能问题的必要能力。

机器学习 (machine learning)编译器,如XLA、TVM、Glow或供应商专用工具,通常在指定时生成详细日志。这些日志记录了所应用的优化遍的顺序、在中间表示 (IR) 上执行的具体转换,有时还会说明某些优化未被应用的原因。仔细查看这些信息可以展示重要细节,说明您的高层模型图如何转换为低层次、特定于硬件的代码。

优化报告中的关注点

优化报告的结构和内容在不同编译器之间显著不同。然而,常见内容通常包括:

  • 优化遍顺序: 已执行的优化遍列表,通常按顺序排列。这有助于理解转换流程。
  • 转换日志: 关于IR中具体更改的详细信息。这可能包括节点融合、循环分块、数据布局改变或代数简化应用。
  • 诊断信息: 关于潜在问题或优化决策原因的警告或信息性消息。例如,报告可能解释为什么由于不兼容的数据布局或依赖关系而无法融合两个操作。
  • 资源分配信息: 关于寄存器压力估算、静态规划的内存使用计算或并行执行调度决策的说明。
  • 内核生成详情: 关于生成内核的信息,可能包括它们的名称或签名、使用的目标硬件特性(如Tensor Cores或特定的SIMD指令),以及选定的配置(线程块大小、分块大小)。
  • IR快照(可选): 一些编译器允许在不同阶段转储IR,当与报告日志关联时,这对详细分析非常有用。

报告与优化目标的关联

让我们看看报告如何明确具体的优化结果:

图级别优化:

  • 算子融合: 报告通常明确记录融合决策。您可能会看到类似“将操作 Conv2D_1 与 BiasAdd_1 和 Relu_1 融合到 FusedConv2DBiasRelu_1”的消息。反之,您可能会发现解释融合失败原因的消息,例如,“无法融合 OpA 和 OpB:维度不匹配或存在中间依赖”。这与性能分析工具观察到的内核启动开销直接相关;更少、更大的融合内核应能减少此开销。
  • 布局转换: 日志可能指示如下更改:“将张量 T1 从NCHW转换为NHWC以用于目标 GPU_XYZ”或“为 OpC 插入布局转置”。如果性能分析显示内存密集型操作延迟高,查看报告中的布局决策是一个不错的起点。编译器是否为操作序列和目标硬件选择了最佳布局?

编译器报告可能会记录将单独的Conv2D、BiasAdd和ReLU操作转换为单个融合内核。

张量级别优化:

  • 分块和循环转换: 多面体编译器或循环优化器通常报告选定的分块大小、循环排列或倾斜因子。消息可能类似“为 MatMul_1 的循环嵌套进行分块,分块大小为 [64, 64, 16]”或“应用循环排列 (i, j, k) -> (j, k, i)”。如果性能分析工具显示内核缓存利用率低或并行度不足,检查报告中的分块策略可以表明是否存在次优选择。
  • 向量 (vector)化: 报告可能显示向量化 (quantization)成功(“使用AVX512对 Kernel_X 的内循环进行向量化”)或失败原因(“无法向量化循环:存在不可向量化指令或复杂控制流”)。这有助于理解VTune等性能分析工具报告的CPU利用率和指令组合。

量化:

  • 报告对理解量化如何实现很重要。查找详细记录以下内容的日志:
    • 量化/反量化操作的插入点。
    • 选定的缩放因子和零点(尤其是对于PTQ)。
    • 操作到低精度内核的映射(例如,“为 QuantizedMatMul_5 使用INT8 GEMM内核”)。
    • 回退操作:如果使用混合精度,哪些操作保留在FP32或FP16中。

连接报告与性能分析数据

真正的作用在于将性能分析工具的发现与编译器报告结合。

  1. 首先进行性能分析: 找出最耗时的内核或操作及其特点(计算密集型、内存密集型、高延迟)。
  2. 查阅报告: 在编译器日志中搜索与这些特定操作或与观察到的瓶颈相关的优化条目。
    • 内核启动开销高? 检查报告中的融合活动。是否成功?是否留下了许多小型、未融合的内核?
    • 算术强度低 / 内存密集型? 检查报告中的分块、预取和数据布局决策。数据移动是否优化?
    • 计算单元利用率不足(例如,浮点运算低)? 查找向量 (vector)化报告、线程映射策略(针对GPU)或专用单元(Tensor Cores)的使用。
    • 量化 (quantization)模型精度问题? 检查报告中哪些层被量化、使用的参数 (parameter)以及QAT特定遍是否正确运行。

挑战与最佳实践

理解编译器报告并非总是直截了当:

  • 冗长: 报告可能极其冗长且详细。使用 grep、awk 或自定义脚本等工具过滤相关信息。编译器标志通常用于控制冗长程度或记录特定遍(例如,TF_XLA_FLAGS=--xla_dump_to=/path/,TVM的PassContext日志记录)。
  • 编译器特有术语: 每个编译器都有自己的术语和IR命名约定。通常需要熟悉特定编译器的文档和内部运作方式。
  • 映射到源码: 将关于优化后的内部IR节点(例如,HLO_Fusion_123)的日志条目与原始TensorFlow或PyTorch操作关联起来,需要理解编译器的命名方案或使用可用的调试信息。
  • “静默失败”: 有时,某个优化未被应用,但报告没有明确说明原因。这通常需要更详细的分析,可能涉及转储并检查预期遍前后的IR。

尽管存在这些挑战,积极使用编译器报告是专家级机器学习 (machine learning)性能工程师工具包中不可或缺的部分。它们解释了性能分析工具中观察到的“是什么”背后的“为什么”,从而实现更有针对性的优化工作、更好的编译器标志调整,有时甚至能指导对原始模型架构本身进行有益的修改。

  • LLVM Optimization Remarks, The LLVM Project, N.D. - 描述了LLVM等现代编译器如何生成详细的优化报告,包括成功的转换、错过的机会和诊断信息,这与本节内容密切相关。
  • The Polyhedral Model for Loop Optimization, Paul Feautrier, 2007 (Springer US) DOI: 10.1007/978-0-387-39129-8_1 - 为平铺、融合和置换等高级循环转换提供了理论基础,这些转换对性能优化至关重要,并经常在编译器报告中有所记录。
  • Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference, Benoit Jacob, Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, Hartwig Adam, and Dmitry Kalenichenko, 2018 Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (IEEE) DOI: 10.1109/CVPR.2018.00097 - 介绍了一种广泛采用的深度神经网络量化方法,用于高效的纯整数算术推理,解释了相关技术及其影响,这些内容会出现在编译器量化报告中。

© 2026 ApX Machine Learning