趋近智
机器学习数据版本控制与实验记录
章节 1: 机器学习可复现性的必要性
机器学习项目管理中的难题
为何单独使用 Git 无法满足需求
定义机器学习中的可复现性
可复现机器学习工作流程的组成部分
数据版本管理的基本思想
实验追踪的基本理念
章节 2: 使用 DVC 管理数据版本
数据版本控制方法
介绍数据版本控制 (DVC)
在项目中设置DVC
跟踪数据文件和目录
数据版本的存储与获取
将 DVC 连接到远程存储 (S3、GCS、Azure Blob)
在不同数据版本间切换
动手实践：数据集版本管理
章节 3: 使用 MLflow 追踪实验
实验跟踪的重要性
MLflow 追踪功能介绍
配置 MLflow
记录参数和指标
记录工件（模型、图表、文件）
使用实验管理运行
使用 MLflow 用户界面
比较实验运行
实践：追踪训练运行
章节 4: DVC 与 MLflow 的整合：构建可复现的工作流程
关联数据版本与实验
为集成构建项目结构
在 MLflow 中记录 DVC 元数据
构建 DVC 流水线
复现 DVC 流水线
追踪 DVC 流水线指标
结合 DVC 流水线与 MLflow 追踪
集成工作流程的最佳实践
动手实践：构建集成式流程
实验追踪的基本理念
这部分内容有帮助吗？
- MLflow Documentation, The MLflow Team, 2024 - 提供使用MLflow进行实验跟踪的全面指导，包括记录参数、指标和工件，以及管理ML生命周期。
- Designing Machine Learning Systems: An Iterative Process for Production-Ready Applications, Chip Huyen, 2022 (O'Reilly Media) - 讨论构建稳健ML系统的原则和实践，涵盖了实验跟踪和可复现性在迭代开发中的重要性。
- The ICLR 2021 Reproducibility Challenge Report, Sinha, Koustuv, Dodge, Jesse, Luccioni, Sasha, Forde, Jessica Zosa, Raparthy, Sharath Chandra, Pineau, Joelle, Stojnic, Robert, 2022 ReScience C, Vol. 8 (ReScience C) DOI: 10.5281/zenodo.6574723 - 考察机器学习研究中与可复现性相关的挑战和实践，为系统化跟踪的必要性提供了背景。
- Practical MLOps: How to Take a Machine Learning Model from Experimentation to Production, Noah Gift, Alfredo Kelly, 2021 (O'Reilly Media) - 为实施MLOps提供实用指导，重点是将实验跟踪整合到完整的ML生命周期工作流中。