趋近智
机器学习数据版本控制与实验记录
章节 1: 机器学习可复现性的必要性
机器学习项目管理中的难题
为何单独使用 Git 无法满足需求
定义机器学习中的可复现性
可复现机器学习工作流程的组成部分
数据版本管理的基本思想
实验追踪的基本理念
章节 2: 使用 DVC 管理数据版本
数据版本控制方法
介绍数据版本控制 (DVC)
在项目中设置DVC
跟踪数据文件和目录
数据版本的存储与获取
将 DVC 连接到远程存储 (S3、GCS、Azure Blob)
在不同数据版本间切换
动手实践：数据集版本管理
章节 3: 使用 MLflow 追踪实验
实验跟踪的重要性
MLflow 追踪功能介绍
配置 MLflow
记录参数和指标
记录工件（模型、图表、文件）
使用实验管理运行
使用 MLflow 用户界面
比较实验运行
实践：追踪训练运行
章节 4: DVC 与 MLflow 的整合：构建可复现的工作流程
关联数据版本与实验
为集成构建项目结构
在 MLflow 中记录 DVC 元数据
构建 DVC 流水线
复现 DVC 流水线
追踪 DVC 流水线指标
结合 DVC 流水线与 MLflow 追踪
集成工作流程的最佳实践
动手实践：构建集成式流程
比较实验运行
这部分内容有帮助吗？
- MLflow Tracking: Record and Compare Runs, MLflow Project, 2024 (MLflow Project) - MLflow跟踪功能的官方文档，包含用于可视化比较的UI和用于程序化分析实验运行的API。
- Building Machine Learning Powered Applications: Going from Idea to Product, Emmanuel Ameisen, 2020 (O'Reilly Media) - 一本关于MLOps生命周期的实用指南，强调结构化实验跟踪和比较对于有效模型开发与迭代的重要性。
- MLflow: An Open Platform for the Machine Learning Lifecycle, Andrew Chen, Aaron J. Meng, Shreya Makkar, Sue Ann Hong, Michael Armbrust, Sameer Singh, Andrew Fogarty, Matei Zaharia, 2020 Proceedings of the 2020 ACM SIGMOD International Conference on Management of Data (SIGMOD '20) (ACM) DOI: 10.1145/3318534.3329623 - 介绍MLflow的原始论文，详细阐述其架构和功能，包括用于管理和比较机器学习实验的跟踪组件。