考虑激活内存

这部分内容有帮助吗？

参考文献

Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin, 2017 Advances in Neural Information Processing Systems 30 (NIPS 2017) DOI: 10.48550/arXiv.1706.03762 - 介绍Transformer架构的基础论文，该架构是现代LLM及其激活生成的基础。
Deep Learning Systems: Algorithms, Compilers, and Processors for Large-Scale AI, Dawei Chen, Haibin Li, Zidong Zhang, 2023 (Springer) DOI: 10.1007/978-981-99-4704-5 - 全面概述深度学习系统，包含内存管理、硬件考量和大型模型优化技术的详细讨论，与理解VRAM使用情况相关。
Hardware Requirements and Memory Considerations for Transformers, Hugging Face, 2024 - 提供Transformer模型运行内存考量和优化（包括批处理大小和硬件要求）的实用建议的官方文档。
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness, Tri Dao, Daniel Y. Fu, Stefano Ermon, Atri Rudra, Christopher Ré, 2022 Advances in Neural Information Processing Systems 35 (NeurIPS 2022) DOI: 10.48550/arXiv.2205.14135 - 介绍了一种优化的注意力算法，显著减少HBM（GPU内存）读写和激活的内存占用，展示了架构对VRAM的影响。