将新的或更新的大型语言模型（LLM）从开发阶段推向生产环境，需要周密的规划和执行。与传统软件（其行为可能在很大程度上是确定的）不同，LLM在接触真实数据和交互时，可能会表现出涌现 (emergence)且有时不可预测的行为。传统软件中的错误可能导致崩溃；而LLM中的安全故障则可能生成有害内容、泄露私人信息或表现出明显的偏见。因此，部署和发布策略必须以安全为中心原则进行设计，融合评估和有效的系统设计理念。
部署前检查
在启动任何发布前，请确保在与生产环境高度相似的预发布环境中完成全面的最终检查：
- 最终安全评估： 针对候选模型或系统配置，运行全套安全基准测试和人工评估协议（如第4章所述）。核实其是否达到预设的安全门槛。
- 红队审查： 分析最新红队演练（第4章）的结果。新版本是否充分解决了已发现的漏洞？
- 配置验证： 仔细检查所有系统配置，包括防护栏（第7章，第2节）、内容过滤器（第7章，第3节）和监控设置（第6章）。
仅当这些检查满意通过时才能继续。在未验证安全性的情况下仓促部署会显著增加操作风险。
渐进式发布策略
“突然将所有用户切换到新的LLM版本通常具有风险。渐进式发布策略允许您将新模型逐步暴露给越来越多的流量，同时密切观察其行为，从而有机会在意外安全问题影响所有人之前加以发现。”
金丝雀发布
此策略涉及将一小部分用户流量导向新的LLM版本（即“金丝雀版”），而大多数用户仍继续使用稳定、当前的版本。
- 工作方式： 从非常小的流量百分比（例如，1%、5%）开始。对这一群体的重要指标进行密集监控。如果金丝雀版本表现良好并符合安全标准，则逐步增加分配给它的流量百分比。
- LLM特有监控： 除了标准操作指标（延迟、错误率）之外，请关注：
- 安全违规率： 跟踪有害内容、偏见标记 (token)或防护栏触发器的自动检测情况。
- 对齐 (alignment)偏差： 监控与基线相比，关于有用性、真实性和指令遵循相关的指标。用户是否获得了满意的答案？模型是否适当地拒绝了不安全请求？
- 异常输出模式： 使用异常检测（第6章）来标记明显偏离预期行为的输出。
- 用户反馈： 密切关注金丝雀群体的显式（报告、评分）和隐式（交互模式）反馈。
- 回滚： 如果金丝雀版出现安全退步或显著性能问题，立即将所有流量路由回稳定版本。
“金丝雀发布非常适合发现可能只在多样化交互中出现的细微问题。缓慢的流量增加可以最大限度地减少问题部署的潜在影响范围。”
蓝绿部署
在这种方式中，您维护两个相同的生产环境：“蓝色”（运行当前稳定版本）和“绿色”（运行新的候选版本）。
- 工作方式： 将新版本部署到绿色环境。在此处使用类似生产的负载进行最终测试，但不带实时用户流量。一旦确认无误，切换路由器，将所有传入流量从蓝色导向绿色。蓝色环境保持待命状态，以便在需要时立即回滚。
- 测试： 非活动环境（最初是绿色）可以进行严格测试，包括有针对性的安全检查和负载测试，而不会影响实时用户。
- 切换： 流量切换通常非常快，最大限度地减少停机时间。
- 回滚： 如果切换后出现问题，只需将流量路由回蓝色环境。这提供了非常快速的回滚能力。
- LLM考量： 尽管回滚速度快，但蓝绿部署不提供像金丝雀发布那样的渐进式流量暴露。问题可能只有在100%流量到达新版本后才会显现。因此，在非活动环境中进行全面测试是完全必要的。当基础设施限制导致细粒度流量拆分困难时，此方法也适用。
金丝雀发布与蓝绿部署策略的对比。金丝雀发布逐步转移流量，而蓝绿部署则在测试非活动环境后切换所有流量。
用于安全与对齐的A/B测试
A/B测试框架虽然常用于功能优化，但也可适用于在生产环境中比较两个模型版本或配置（例如，不同的系统提示、防护栏设置）的安全和对齐特性。
- 设置： 随机将用户分配到不同的组（A和B），每组与不同的模型版本或配置进行交互。
- 指标： 跟踪每组的安全相关指标（违规率、有害请求拒绝情况、偏见得分）和对齐指标（有用性评分、任务成功率）。
- 分析： 统计性地比较各组之间的指标，以确定新版本与对照组相比是否提供了安全性或对齐方面的改进（或退步）。这提供了定量数据来支持部署决策。
发布期间的持续监控
无论选择何种策略，在任何发布阶段，持续的实时监控都是不可或缺的。
- 自动化警报： 为关键安全指标阈值配置警报（例如，有害内容生成突然激增，适当拒绝率下降）。
- 仪表板显示： 维护仪表板，显示新旧版本的重要安全、对齐 (alignment)和操作指标，以便于比较。
- 日志分析： 实施详细的交互、模型输出和任何安全系统触发器日志记录。分析这些日志以发现自动化指标未捕获的细微模式或问题。第6章讨论的异常检测和监控工具直接适用于此。
回滚程序
尽管有周密的计划，事情仍可能出错。拥有明确且经过演练的回滚计划是必不可少的。
- 触发条件： 明确定义触发回滚的条件（例如，安全违规率超过X%，关键功能失效，严重性能下降）。这些条件应明确无误。
- 机制： 确保回滚的技术机制（例如，更改路由器配置，重新部署上一版本）是自动化或半自动化的，并且可以快速执行。
- 测试： 定期在预发布环境中测试回滚程序，以确保其按预期工作，并确保操作团队熟悉该程序。
- 状态管理： 考虑在回滚期间如何处理对话状态或用户数据，以避免不一致或数据丢失。
发布后的警惕
部署并非流程的终点。即使成功发布，也要继续密切监控新模型。LLM的行为有时会随着遇到新的交互模式而随时间推移发生偏差。保持反馈循环，并准备根据持续的观察进行微调 (fine-tuning)、提示调整或防护栏更新的迭代。
安全部署是一个主动过程，需要工程规范、适当的工具，以及对潜在风险的持续关注。通过实施渐进式发布、监控和清晰的回滚计划，您可以显著降低将新的LLM能力引入生产系统时发生安全故障的可能性。
