ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

针对机器学习任务的高级编译器与运行时优化
章节 1: 开篇:机器学习执行栈与挑战
机器学习模型部署差距
机器学习编译器与运行时栈概览
机器学习推理中的性能瓶颈
ML加速硬件
专门优化的必要性
章节 2: 机器学习的高阶中间表示
传统编译器IR的局限性
多级中间表示的原理
MLIR:方言和操作
表示高层ML图(例如TF, TOSA)
MLIR 中的下沉路径
可扩展性与自定义方言
动手实践:分析 MLIR 表示
章节 3: 高级图级别优化
图重写系统
激进的算子融合技术
内存感知布局转换
高级代数简化
静态内存规划与分配
图中的控制流处理
实践操作:实现组合操作遍
章节 4: 张量级优化与多面体建模
将张量计算表示为循环嵌套
多面体建模简介
迭代域、访问函数和依赖
调度变换 (倾斜变换, 分块)
多面体调度下的代码生成
自动向量化技术 (SIMD)
内存层级优化:分块和预取
动手实践:使用多面体工具优化循环
章节 5: 异构硬件的代码生成
目标硬件指令选择
向量/矩阵单元的寄存器分配
GPU 代码生成:CUDA 和 ROCm 后端
为张量核心和矩阵单元生成代码
针对AI加速器(TPU、NPU)的代码生成
用于异构执行的中间格式 (SPIR-V)
供应商专用编译器工具链和库 (cuDNN, MIOpen)
动手实践:分析生成的GPU核函数
章节 6: 高级机器学习运行时系统
运行时架构概览
处理动态形状和大小
高效内存管理策略
异步执行与调度
异构系统调度
整合定制算子与核函数
机器学习框架的互操作性
动手实践:实现一个简单的分配器
章节 7: 面向机器学习的即时 (JIT) 编译技术
ML中JIT编译的动因
追踪与脚本方法
JIT系统中的中间表示
运行时专门化与多态性
即时编译器(JIT)中的配置文件引导优化(PGO)
自适应与多层编译
案例分析:TensorFlow XLA
案例研究:PyTorch JIT (TorchScript)
实践操作:分析JIT编译代码
章节 8: 量化与低精度优化
模型量化基础 (INT8, FP8)
在IR中表示量化操作
量化感知训练 (QAT) 的编译器处理过程
训练后量化 (PTQ) 编译流程
生成低精度核函数
混合精度计算优化
量化比例和零点的处理
动手实践:量化操作的降级处理
章节 9: 性能分析工具
编译后的机器学习代码性能分析中的挑战
系统级性能分析 (CPU、GPU、互连)
CPU 性能分析 (VTune, perf)
GPU核心性能分析 (Nsight Compute, ROCprof)
关联框架操作与编译内核
内存访问模式分析
理解编译器优化报告
动手实践:分析优化模型的性能

处理动态形状和大小

现代机器学习 (machine learning)运行时系统的一个主要功能是管理在执行开始前其维度无法完全确定的张量。与提前(AOT)编译场景中张量形状通常固定(例如,224×224224 \times 224224×224 图像,批次大小为 32)不同,许多应用涉及动态形状。例子包括处理变长序列的自然语言处理模型、处理不同分辨率图像的对象检测模型,或处理不同批次大小请求的推理 (inference)服务器。与静态形状执行相比,这种动态性带来了显著的挑战,主要影响内存管理、内核选择以及整体性能的可预测性。

考虑一个形状为 N×C×H×WN \times C \times H \times WN×C×H×W 的张量。在静态情况下,N,C,H,WN, C, H, WN,C,H,W 是在编译时已知的常量。这使得编译器和运行时能够精确地预先规划内存分配,为这些确切维度选择或生成高度优化的内核,并高效地安排操作。然而,如果一个或多个维度是符号化的或直到运行时才可知(例如,N×C×?×?N \times C \times ? \times ?N×C×?×?),运行时必须采用特定的策略来处理这种不确定性。

运行时形状推断和传播

一种方法是运行时系统动态执行形状推断。随着计算图中的操作执行,运行时可以传播具体的形状信息。例如,如果一个操作接受两个已知形状为 A×BA \times BA×B 和 B×CB \times CB×C 的输入张量并产生一个输出,运行时可以推断出输出形状将是 A×CA \times CA×C。这依赖于运行时能够访问图结构以及每个算子的形状转换函数。通常,编译器使用的中间表示(IR)(如 MLIR)会编码这些形状函数,或提供表示未知维度(通常表示为 ? 或 -1)的机制。虽然在许多情况下有效,动态形状推断可能无法解决所有歧义,尤其是在复杂的控制流情况下,或输出形状取决于输入值(而不仅仅是形状)的操作。

运行时专用化和内核选择

当操作执行前确切形状已知时,运行时可以选择一个针对这些特定维度优化的预编译内核,甚至可以触发即时(JIT)编译过程来动态生成一个专用内核。这对于计算密集型操作尤其重要,如卷积或矩阵乘法,因为其性能对维度高度敏感。

示意图,展示了运行时形状检查和内核选择/JIT编译的简化流程。

这种策略为实际计算保持高性能,但可能引入延迟。JIT编译需要时间,并且管理专用内核缓存会增加复杂性。形状多态性等技术旨在通过生成能够高效处理有限范围输入形状的内核来缓解此问题,从而减少过度专用化的需求。运行时必须权衡专用化的成本(编译时间、缓存管理)与使用特定维度代码所带来的性能提升。

填充和分桶

一种常用的施加规整性的方法是填充。如果一个维度可以变化到某个最大大小(例如,序列长度最大为 512),运行时可以基于这个最大大小分配缓冲区,并填充较小的输入以使其适应。

  • 填充:

    • 优点: 简化内核执行,因为内核总是处理固定大小的输入。有利于更简单的 AOT 编译或选择单个优化内核。
    • 缺点: 可能导致显著的内存浪费和低效计算,尤其当输入通常远小于最大填充大小时。填充/取消填充数据的开销也可能不容忽视。
  • 分桶: 为减少填充的开销,可以根据输入的形状特征将它们分组到“桶”中。例如,长度为 1-64 的序列可能分到一起,65-128 的分到另一组,以此类推。然后填充仅应用于每个桶的范围内。

比较填充到固定最大值与使用离散桶的内存分配/处理大小。分桶减少了较小输入的浪费。

分桶要求运行时根据形状动态地对输入进行排序或批处理,这增加了调度复杂性,但通常比简单的填充能带来更好的资源利用。

符号形状和上限设定

更高级的运行时可能包含符号形状计算。它们不是立即要求具体的维度,而是操作表示形状的符号表达式(例如,N 表示批次大小)。操作在这些符号形状上执行,直到需要具体值进行内存分配或内核执行时。这可以延迟专用化或分配决策。通常,这与上限设定结合使用,即编译器或用户为动态维度提供可能的最大值。运行时随后可以使用这些上限进行初始内存预留(通常在一个竞技场分配器内),同时可能根据后续遇到的具体形状来优化实际使用的部分。

与内存管理和调度的相互作用

动态形状从根本上使内存管理复杂化。所有缓冲区地址和大小在离线确定的静态内存规划不再完全适用。运行时内存管理器必须处理那些大小仅在执行期间才已知的缓冲区请求。这通常需要动态内存分配器(如为高效处理不同大小而设计的竞技场分配器)以及减少碎片化的策略。未能高效管理内存可能导致内存不足错误,或由于分配开销或数据局部性差而导致显著的性能下降。

同样,调度也变得更为复杂。操作的执行时间会因输入形状而显著不同。这使得调度器更难预测成本、有效重叠计算和数据移动,或在异构设备间平衡负载。调度器可能需要根据观察到的特定形状的执行时间进行动态调整。

考量和权衡

处理动态形状涉及灵活性和性能可预测性之间的权衡。

  • 填充/分桶: 执行更简单,内核性能可预测,但可能浪费资源。
  • 运行时专用化/JIT: 可能实现最高的内核性能,减少浪费,但会引入延迟和复杂性。
  • 形状推断/符号形状: 可以延迟决策并优化图段,但可能无法解决所有动态性问题。

最佳策略很大程度上取决于具体的模型架构、形状变化的程度和性质、目标硬件能力(例如 JIT 编译速度、内存容量)以及应用的延迟要求。分析工具对于理解动态形状如何影响内存使用、内核执行时间以及给定运行时系统中潜在的 JIT 开销变得必不可少。有效的处理通常涉及结合多种技术,例如使用上限进行初始分配、执行运行时形状推断,并采用结合分桶的形状专用内核来高效管理可变性。

  • PyTorch: An Imperative Style, High-Performance Deep Learning Library, Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Köpf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, Soumith Chintala, 2019 Advances in Neural Information Processing Systems, Vol. 32 (Curran Associates, Inc.) DOI: 10.48550/arXiv.1912.01703 - 介绍了PyTorch的设计,它本质上是动态的,说明了运行时系统如何管理具有不同张量形状的操作和数据流。

© 2026 ApX Machine Learning