趋近智
机器学习数据版本控制与实验记录
章节 1: 机器学习可复现性的必要性
机器学习项目管理中的难题
为何单独使用 Git 无法满足需求
定义机器学习中的可复现性
可复现机器学习工作流程的组成部分
数据版本管理的基本思想
实验追踪的基本理念
章节 2: 使用 DVC 管理数据版本
数据版本控制方法
介绍数据版本控制 (DVC)
在项目中设置DVC
跟踪数据文件和目录
数据版本的存储与获取
将 DVC 连接到远程存储 (S3、GCS、Azure Blob)
在不同数据版本间切换
动手实践：数据集版本管理
章节 3: 使用 MLflow 追踪实验
实验跟踪的重要性
MLflow 追踪功能介绍
配置 MLflow
记录参数和指标
记录工件（模型、图表、文件）
使用实验管理运行
使用 MLflow 用户界面
比较实验运行
实践：追踪训练运行
章节 4: DVC 与 MLflow 的整合：构建可复现的工作流程
关联数据版本与实验
为集成构建项目结构
在 MLflow 中记录 DVC 元数据
构建 DVC 流水线
复现 DVC 流水线
追踪 DVC 流水线指标
结合 DVC 流水线与 MLflow 追踪
集成工作流程的最佳实践
动手实践：构建集成式流程
跟踪数据文件和目录
这部分内容有帮助吗？
- DVC add Command Reference, Iterative, Inc., 2024 -
dvc add命令的官方文档，详细说明了其用法和可用选项。 - How DVC Works, Iterative, Inc., 2024 (Iterative, Inc.) - 解释了 DVC 的基本工作原理，包括数据缓存、.dvc 文件及其与 Git 的集成方式。
- Introducing MLOps: How to go from Model to Production, Mark Treveil, Nicolas Omont, Aurélien Géron, Clement Stenac, Mickaël Bertrand, Patrick Brady, Aditya Joshi, Michel Lutz, Hervé Siby, Rik van der Burgt, Kevin Van der Burgt, Roel Van der Burgt, Manon Van der Burgt, and Alice Zheng, 2022 (O'Reilly Media) - 提供了 MLOps 实践的全面概述，包括数据管理和版本控制策略，为 DVC 等工具提供了背景信息。