趋近智
大型模型MLOps (LLMOps)
章节 1: LLMOps 基本原理
从MLOps到LLMOps的转变
大语言模型在生产中的特有挑战
大型模型所需的基础设施
LLMOps 生命周期阶段
LLMOps 工具选用要点
章节 2: 大规模基础设施与数据管理
设计可扩展的计算基础设施
分布式系统的网络考量
管理PB级数据集
大语言模型数据预处理流程
大型数据和模型的版本控制
云端与本地基础设施的权衡
实践：配置可扩展存储
章节 3: 大模型训练与微调的运行管理
编排分布式训练任务
实现数据并行策略
实现模型并行策略
使用 DeepSpeed 和 Megatron-LM 等框架
参数高效微调（PEFT）的实施
大规模运行的实验跟踪
检查点与容错机制
实践操作：分布式训练配置
章节 4: LLM部署与服务优化
大型模型服务中的挑战
大型语言模型 (LLM) 的模型打包与容器化
GPU 推理服务器优化
应用模型量化方法
知识蒸馏在部署中的应用
高级部署模式 (金丝雀发布, A/B 测试)
自动扩缩容推理端点
无服务器 GPU 推理的考量
实践：部署量化模型
章节 5: 监控、可观测性与维护
界定大语言模型特有的性能指标
监控基础设施使用情况（GPU、内存）
追踪运营成本
检测大型语言模型中的数据与响应模式漂移
监控 LLM 输出质量（有害性、偏见）
幻觉检测方法
建立反馈循环以实现持续改进
LLMOps的日志记录与可观测性平台
动手实践：设置基本的LLM监控
章节 6: 进阶LLMOps系统与工作流
提示工程的运行化
检索增强生成（RAG）系统管理
向量数据库操作与管理
LLM再训练与微调流程自动化
LLMOps中的安全考量
LLM部署中的合规性与治理
将LLMOps与CI/CD系统集成
实践：构建提示词管理工作流程
大型模型所需的基础设施
这部分内容有帮助吗？
- ZeRO: Memory Optimizations Toward Training Trillion-Parameter Models, Samyam Rajbhandari, Cong Guo, Erin Grant, Zhun Liu, Hao Ma, Aakanksha Chowdhery, Yuxiong He, 2020 Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Vol. 33 (NeurIPS) DOI: 10.5591/978-1-7138-0457-3.NeurIPS.2020.00762 - 本文介绍了ZeRO，一种通过在设备间分区优化器状态、梯度和参数来高效训练大型深度学习模型的内存优化技术。
- Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism, Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, Bryan Catanzaro, 2019 arXiv preprint arXiv:1909.08053 DOI: 10.48550/arXiv.1909.08053 - 描述了如何通过在多个GPU上应用模型并行（包括张量并行和流水线并行）来高效训练超大型语言模型。
- A Cloud-Scale Architecture for Accelerating AI, Norman P. Jouppi, Zhifeng Chen, David Pattison, Carla J. del Rosario, Nils Hogstrom, David A. Huffman, Daniel F. Kramer, Andrew B. New, Christopher B. Perry, Evan E. Radecki, Timothy B. Smith, Ryan M. Some, David R. Turnbull, Andrew J. Veit, John W. Weigelt, Dean M. Wilkes, Cliff C. Young, Yifeng Chao, Andrew L. Chien, Patrick K. H. Chiang, John A. Gunnels, Mark R. O'Connor, Anant N. Agarwal, Jeffrey Dean, Paul N. Hilfinger, Jeffrey S. Riegel, Edward A. Sacks, Manjot Singh, Stephen W. Smith, Jonathan S. Taylor, David L. Wells, Kenneth C. Yocum, 2021 Proceedings of the 48th Annual International Symposium on Computer Architecture (ISCA '21) (ACM) DOI: 10.1145/3465033.3467614 - 介绍了谷歌张量处理单元（TPU）的架构，该架构专为云规模AI工作负载设计，详细阐述了其专用互连和处理能力。
- NVIDIA H100 Tensor Core GPU Architecture, NVIDIA Corporation, 2022 (NVIDIA) - NVIDIA H100 GPU架构的官方白皮书，介绍了Transformer Engine和NVLink等创新技术，这些技术与大型语言模型计算相关。