趋近智
大型模型MLOps (LLMOps)
章节 1: LLMOps 基本原理
从MLOps到LLMOps的转变
大语言模型在生产中的特有挑战
大型模型所需的基础设施
LLMOps 生命周期阶段
LLMOps 工具选用要点
章节 2: 大规模基础设施与数据管理
设计可扩展的计算基础设施
分布式系统的网络考量
管理PB级数据集
大语言模型数据预处理流程
大型数据和模型的版本控制
云端与本地基础设施的权衡
实践：配置可扩展存储
章节 3: 大模型训练与微调的运行管理
编排分布式训练任务
实现数据并行策略
实现模型并行策略
使用 DeepSpeed 和 Megatron-LM 等框架
参数高效微调（PEFT）的实施
大规模运行的实验跟踪
检查点与容错机制
实践操作：分布式训练配置
章节 4: LLM部署与服务优化
大型模型服务中的挑战
大型语言模型 (LLM) 的模型打包与容器化
GPU 推理服务器优化
应用模型量化方法
知识蒸馏在部署中的应用
高级部署模式 (金丝雀发布, A/B 测试)
自动扩缩容推理端点
无服务器 GPU 推理的考量
实践：部署量化模型
章节 5: 监控、可观测性与维护
界定大语言模型特有的性能指标
监控基础设施使用情况（GPU、内存）
追踪运营成本
检测大型语言模型中的数据与响应模式漂移
监控 LLM 输出质量（有害性、偏见）
幻觉检测方法
建立反馈循环以实现持续改进
LLMOps的日志记录与可观测性平台
动手实践：设置基本的LLM监控
章节 6: 进阶LLMOps系统与工作流
提示工程的运行化
检索增强生成（RAG）系统管理
向量数据库操作与管理
LLM再训练与微调流程自动化
LLMOps中的安全考量
LLM部署中的合规性与治理
将LLMOps与CI/CD系统集成
实践：构建提示词管理工作流程
检测大型语言模型中的数据与响应模式漂移
全新 · 开源
Kerb - 大语言模型开发工具包
用于构建生产级 LLM 应用的 Python 工具包。提供提示词、RAG、智能体、结构化输出和多提供商支持等模块化实用工具。
这部分内容有帮助吗？
- Uncovering Concept Drift in Transformer-Based Text Classifiers, Mariam Al-Saad, Johannes Hötte, Robert M. Clark, and Daniel G. Preston, 2023 Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics (Association for Computational Linguistics) DOI: 10.18653/v1/2023.eacl-main.290 - 专门讨论基于 Transformer 模型的漂移检测，包括分析嵌入空间变化的方法，对大型语言模型相关。
- A Kernel Two-Sample Test, Arthur Gretton, Karsten M. Borgwardt, Malte J. Rasch, Bernhard Schölkopf, Alexander Smola, 2012 Journal of Machine Learning Research, Vol. 13 (JMLR) - 介绍最大均值差异 (MMD) 检验的基础论文，这是一个用于比较高维空间中分布的关键统计方法。
- MLOps for Large Language Models: From Development to Production, Parul Singh and Gaurav Singhal, 2023 (Apress) DOI: 10.1007/978-1-4842-9492-4 - 一份关于大型语言模型 MLOps 的实用指南，涵盖生产环境中的操作方面，包括监控和维护。
- Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, Nils Reimers and Iryna Gurevych, 2019 Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) (Association for Computational Linguistics) DOI: 10.18653/v1/D19-1410 - 介绍了 Sentence-BERT，一个广泛采用的用于生成高质量句子嵌入的模型，对于基于嵌入的大型语言模型漂移检测非常相关。