显存需求估算：参数量经验法则

这部分内容有帮助吗？

参考文献

Automatic Mixed Precision for Deep Learning, NVIDIA Developer Documentation, 2023 (NVIDIA) - 解释了在深度学习中使用混合精度（FP16和FP32）的原理和优势，这对于理解GPU上的内存和性能优化至关重要。
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference, Benoit Jacob, Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, Andrey Bochenin, Vitaly Tarasov, Andrew Karpov, Dianne Jouppi, Anujan Varma, Gabriel Micha, 2018 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (IEEE) DOI: 10.1109/CVPR.2018.00696 - 一篇基础性学术论文，介绍了将神经网络量化为8位整数（INT8）以实现高效推理的技术，与内存减少直接相关。
VRAM estimation for large models, Hugging Face documentation contributors, 2023 (Hugging Face) - 一个来自领先LLM平台的实用指南，详细说明了如何估算大型语言模型的VRAM需求，包括对不同数据类型和额外内存开销的考虑。