高级部署模式：金丝雀发布和影子测试

一旦您的自动化再训练流程生成一个通过自动化验证的候选模型，下一个重要步骤就是将其部署到生产环境。直接用新模型替换旧模型会带来较大风险。如果验证测试遗漏了细微的性能退化怎么办？如果新模型在未充分测试的实际流量切片上表现异常怎么办？直接将未经测试的更改部署给所有用户，可能导致糟糕的用户体验、信任流失以及潜在的重大业务影响。

在部署新模型时，为了有效管理潜在风险，金丝雀发布和影子测试等高级部署模式是成熟MLOps工作流程的重要组成部分。这些策略允许逐步引入新模型版本，并在全面上线前收集其性能和稳定性的证据。

模型的金丝雀发布

"金丝雀发布，一个借鉴自通用软件部署的理念，涉及将一小部分生产流量路由到新模型版本（即“金丝雀”），而大部分流量仍由稳定、现有的模型提供服务。其核心思想是让新模型暴露在“影响范围有限”的条件下，如果金丝雀模型表现不佳或出现异常行为，只有一小部分用户或请求受到影响。"

机制：

1. 部署： 新模型版本与当前生产版本并行部署。两个版本都必须能够独立地处理请求。
2. 路由流量： 配置负载均衡器、API网关或服务网格，将一小部分（例如1%、5%、10%）传入请求路由到新的金丝雀模型。其余请求则发送给现有的生产模型。
3. 监控： 密切监控金丝雀模型所处理流量的性能指标（准确性、延迟、错误率等）、运行状况（CPU/内存使用情况）以及可能的业务指标。将这些指标与同时处理大部分流量的现有生产模型的基线性能进行比较。
4. 评估： 根据预定义标准（例如，金丝雀模型性能 $m_{canary} \ge m_{prod} - \epsilon$，错误率 $e_{canary} \le e_{prod} + \delta$，无严重错误），决定是否继续。
5. 增加流量或回滚：
   • 如果金丝雀模型表现良好，逐步增加路由到它的流量百分比（例如，1% -> 5% -> 25% -> 50% -> 100%）。在每个阶段都密切监控。
   • 如果金丝雀模型在任何阶段表现不佳或出现问题，立即回滚，将100%的流量路由回之前的稳定版本。离线分析失败原因。

金丝雀发布期间的流量分割。一小部分请求发送到新模型，在其性能被密切监控后才增加流量比例。

优点：

• 风险降低： 将潜在问题的影响限制在一小部分用户。
• 验证： 在实际生产数据和流量模式下测试模型。
• 增强信心： 在全面上线前，为新模型的可用性提供经验证据。

挑战：

• 监控复杂性： 需要细粒度监控，能够区分不同模型版本之间的指标。
• 统计显著性： 在流量百分比较低时，可能需要时间收集足够的数据来进行具有统计显著性的性能比较。
• 有状态应用： 如果用户会话需要始终访问同一模型版本，这可能会很复杂。
• 上线速度较慢： 分阶段的方法比直接替换耗时更长。

影子测试（暗启动）

影子测试，也称暗启动，有时也被认为是基础设施A/B测试的一种形式，采取了不同的方法。它不是将实际流量路由到新模型来提供响应，而是将生产流量镜像或复制，与现有生产模型并行发送给新模型。生产模型处理实际用户请求并返回响应。新的“影子”模型处理相同的请求，但其预测结果不返回给用户。相反，它们的预测结果会被记录下来，并离线与生产模型的预测结果以及可能的真实标签（如果可用）进行比较。

机制：

1. 部署： 将新模型版本（影子模型）与当前生产版本并行部署。
2. 镜像流量： 配置基础设施（例如，服务网格、自定义代理、应用逻辑）以复制传入的生产请求。将一份发送到生产模型，另一份相同的副本发送到影子模型。
3. 提供服务： 生产模型照常向用户返回响应。
4. 记录与比较： 记录来自生产模型和影子模型的输入、预测结果以及相关元数据。使用记录的数据离线比较它们的性能（准确性、预测差异、延迟、错误率）。这种比较不会影响实际用户体验。
5. 评估： 在足够长的时间内，根据记录的数据分析影子模型相对于生产模型的性能。检查预测一致性、性能一致性或改进、稳定性和资源消耗。
6. 提升或废弃：
   • 如果影子模型持续满足或超过性能和稳定性标准，您就可以有信心将其提升到生产环境（可能使用金丝雀发布或直接替换）。
   • 如果它表现不佳或出现问题，则可以将其废弃或修改，而不会影响任何用户。

影子测试设置中的流量流。实际请求被镜像到影子模型，其结果被记录下来用于离线比较，不影响用户响应。

优点：

• 零用户影响： 最安全的方法，因为新模型的结果在测试阶段不影响实际响应。 "* 直接比较： 允许在负载下直接比较完全相同请求的输出。"
• 性能测试： 非常适合在没有风险的情况下评估生产负载下的延迟和资源消耗。

挑战：

• 基础设施成本增加： 需要同时运行两个模型的能力，可能使推理成本翻倍。
• 复杂性： 设置流量镜像和比较基础设施可能很复杂。
• 无直接反馈： 不直接衡量新模型的预测对用户行为或业务结果的影响（因为用户看不到其结果）。
• 真实标签延迟： 性能评估（如准确性）通常依赖于比较预测结果，或者需要等待真实标签可用。

选择合适的策略

金丝雀发布和影子测试之间的选择取决于几个因素：

• 风险承受度： 影子测试在测试阶段对用户体验的固有风险较低。金丝雀发布引入了受控风险。
• 成本： 影子测试通常由于运行重复模型而产生更高的基础设施成本。
• 对实时反馈的需求： 金丝雀发布提供模型如何影响用户/系统的直接反馈。影子测试提供性能数据但无直接影响反馈。
• 验证目标： 影子测试擅长验证非功能性要求（延迟、稳定性）和预测一致性。金丝雀测试更适合验证潜在不同预测的效果。
• 基础设施成熟度： 两者都需要复杂的流量管理和监控基础设施，但影子测试的镜像功能可能会增加额外的复杂性。

"实际上，这些技术并非互斥。一种常见模式是，首先使用影子测试验证新模型，以确保稳定性和基本性能一致性，然后进行渐进式金丝雀发布以观察其影响，最后再全面上线。"

整合到自动化流程中

这些部署模式应成为您自动化再训练和部署流程的组成部分。

• 触发： 启动金丝雀或影子部署的决定，通常是再训练模型通过自动化验证测试后的最后一步。
• 配置： 流程应自动配置流量分割/镜像的百分比和持续时间。
• 自动化监控与评估： 监控系统需要自动收集和比较不同模型版本的指标。根据预定义阈值（SLO/SLA）进行的自动化检查应决定是继续上线还是触发自动回滚。
• 回滚： 自动化回滚机制非常重要。如果在金丝雀阶段监控检测到问题，流程必须立即将流量恢复到稳定版本，并将部署标记为失败。

实施金丝雀和影子测试流程将模型部署从高风险的手动步骤转变为受控、自动化和数据驱动的流程。这显著提高了生产机器学习系统的可靠性和安全性，使您能够更频繁、更有信心地更新模型，以应对模型漂移和性能下降。