实验追踪的基本理念

就像对数据进行版本控制对于了解模型使用了什么是不可或缺的，实验追踪对于理解结果是如何产生的则是根本所在。想象一下，训练几十甚至上百个模型，调整超参数 (parameter) (hyperparameter)，尝试不同的特征集，或调整架构。您如何记录哪种组合带来了最佳性能？几周或几个月后，您又如何可靠地复现该特定结果？仅仅依靠记忆、复杂的命名文件或零散的笔记，很快就会变得难以管理且容易出错。

实验追踪提供了一种系统化的方法，用于记录每次机器学习 (machine learning)训练运行或执行的详细信息。它不仅仅是简单的代码版本控制（例如Git提交），还能捕获机器学习代码执行的完整上下文 (context)。这种系统化的日志记录为构建可复现、可比较且易于理解的机器学习工作流程奠定了基础。

为什么要追踪实验？

实验追踪的需求直接源于之前讨论的机器学习 (machine learning)可复现性问题。实施一致的追踪做法有助于解决以下几个问题：

1. 可复现性： 如果您了解所使用的确切代码版本、数据版本、参数 (parameter)和环境，您就能更有把握地复现特定结果，无论是为了调试、部署还是验证。
2. 比较与分析： 结构化日志使您能够轻松比较不同的运行。哪组超参数 (hyperparameter)产生了最佳验证准确率？改变优化器如何影响收敛速度？追踪能够为这些问题提供客观、数据驱动的答案。
3. 调试： 当模型性能意外下降或出现错误时，将故障运行的日志与之前的成功运行进行比较，可以迅速指出可能导致问题的变化（例如，参数更改、数据版本不同或新的库依赖）。
4. 团队合作： 共享追踪的实验允许团队成员理解彼此的工作，在现有成果上进一步发展，并避免重复工作。它提供了清晰的记录，说明尝试了什么以及结果如何。
5. 审计与管理： 在许多生产环境中，有必要将已部署模型追溯到用于训练它的确切数据、代码和参数，以满足合规性或调试目的。

应该追踪哪些信息？

有效的实验追踪涉及为每次执行（通常称为“运行”）记录几类相互关联的信息。请考虑以下核心组成部分：

• 代码版本： 源代码的特定状态，通常由Git提交哈希识别。这可确保您精确了解执行了哪些逻辑。
• 参数 (parameter)： 这些是配置实验的输入。例子包括超参数 (hyperparameter)（如学习率、批量大小、层数）、特征工程选择、数据分割比例、随机种子和模型架构配置。记录这些非常重要，因为它们直接控制训练过程的行为。
• 输入数据引用： 指向用于训练和评估的数据集特定版本的标识符。这可能是一个DVC文件哈希、数据集版本标签或指向不可变数据集位置的路径。了解确切数据与了解代码同等重要。
• 指标： 在运行期间或之后记录的性能定量测量。常见例子包括训练损失、验证准确率、精确度、召回率、F1分数、AUC或特定用途的指标。随着时间（例如，每个周期）追踪指标还可以提供关于训练动态的见解。
• 产物： 这些是您的运行生成的输出文件。最重要的产物通常是训练好的模型文件本身。其他例子包括可视化图表（如损失曲线、混淆矩阵、ROC曲线）、特征重要性报告、评估结果文件、日志文件，甚至是示例输出数据。将这些产物与参数和指标一同保存，可提供运行结果的完整视图。
• 环境信息： 关于执行环境的详细信息，例如主要库（例如 scikit-learn、tensorflow、pytorch、pandas）的版本、Python版本，以及可能的硬件详情（CPU、GPU类型）。环境差异有时会导致结果出现细微差异。

将每次实验运行视为一份独立的记录。通过系统地记录这些组成部分，您就创建了模型开发过程的详细历史。

告别手动日志

在没有专用工具的情况下，实践者常常采用手动方法：将参数 (parameter)嵌入 (embedding)文件名中，在电子表格中保存日志，或编写大量README文件。尽管聊胜于无，但这些方法往往不一致、容易出错、难以搜索，并且随着项目复杂性增加而难以扩展。

实验追踪工具旨在自动化和标准化这一日志记录过程。它们提供API，将日志记录直接集成到训练脚本中，并提供界面（通常是基于Web的用户界面）来浏览、搜索、比较和可视化您的实验结果。

在接下来的章节中，我们将介绍MLflow，这是一款流行的开源工具，专门用于管理机器学习 (machine learning)生命周期，包括实验追踪功能。您将学习如何使用它来记录参数、指标和产物，组织您的运行，并有效分析您的实验结果，从而为更具可复现性和可管理性的机器学习项目奠定基础。