大型模型MLOps (LLMOps)

• LLM基础设施设计

  构建可扩展的基础设施，用于训练及提供大型语言模型服务，并考虑GPU/TPU资源及网络配置。

• 分布式训练管理

  实施并管理针对数十亿参数模型的分布式训练任务，运用DeepSpeed或Megatron-LM等框架。

• 高效微调操作

  在MLOps工作流程中应用参数高效微调（PEFT）方法。

• LLM高级部署

  部署大型模型，运用优化推理服务器、量化技术及专用服务模式。

• LLM监控与可观测性

  实施全面的监控策略，以评估LLM的性能、成本、漂移及输出质量。

• 成本优化

  应用策略，管理及优化与大型模型训练和提供服务相关联的高昂成本。

• RAG系统运行管理

  管理检索增强生成系统（RAG）的运行方面，包括向量数据库管理。

本课程没有先修课程。

目前没有推荐的后续课程。