LLM部署的量化与剪枝技术

这部分内容有帮助吗？

参考文献

The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks, Jonathan Frankle, Michael Carbin, 2019 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1803.03635 - 提出了神经网络剪枝中的一个基本概念，认为在大型网络中可以找到稀疏子网络，并达到可比的性能。
Quantization for Deep Learning Models, PyTorch Documentation, 2019 (PyTorch Foundation) - PyTorch官方量化模块文档，涵盖了训练后量化（PTQ）和量化感知训练（QAT）。