部署您的 LLM 应用程序是一个重要里程碑，但这标志着运行生命周期的开始，而非结束。与传统软件行为可能完全确定不同，基于 LLM 的系统通常表现出涌现 (emergence)特性以及对输入、模型和数据的敏感性，这需要持续关注。运行实践，包括监控和持续集成/持续部署 (CI/CD)，着重于确保应用可靠、经济高效并符合用户需求的持续活动。
模型和数据演进管理
LLM 变化快速。服务提供商经常发布新的模型版本，这些版本拥有增强的功能、不同的性能特点以及可能调整的价格结构。您的运行计划必须考虑到这一点。
- 模型版本管理： 制定一个流程，用于评估您所选提供商的新模型版本（例如，OpenAI 的
gpt-4-turbo-2024-04-09 与旧版本）。这包括对现有提示词 (prompt)和工作流程进行回归测试，评估性能指标（延迟、使用第九章评估方法得出的输出质量），并评估成本影响。考虑采用 A/B 测试或金丝雀发布来安全地比较生产环境中的模型版本。
- 提示词性能监控： 在开发阶段表现良好的提示词，可能会由于用户输入模式的变化或底层 LLM 行为的变化（即使是同一版本内）而随着时间推移出现性能下降。定期监控应用程序任务的性能指标（KPI）。如果任务完成率、用户满意度评分或评估分数等指标下降，提示词优化（第八章）可能必要。
- RAG 数据新鲜度： 对于使用检索增强生成 (RAG)（第七章）的应用，外部知识库需要维护。定义一个更新向量 (vector)存储的策略。您会定期重新索引所有文档吗？实施增量更新机制吗？您将如何管理索引的版本？最佳方法取决于数据源的波动性以及对过时信息的容忍度。
依赖与环境维护
您的应用程序依赖于一个库生态系统（LangChain、LlamaIndex、FastAPI 等）和底层基础设施（Python 解释器、容器基础镜像）。保持这些更新对于安全性和功能性非常重要。
- 定期依赖更新： 安排对 Python 依赖项（
requirements.txt 或 pyproject.toml）进行定期审查和更新。使用 pip-audit 或 GitHub 的 Dependabot 等工具来识别已知的安全漏洞。将依赖项更新集成到您的 CI/CD 流水线中，以便在合并前自动测试兼容性。
- 基础镜像补丁： 如果使用容器（Docker），定期更新您的基础镜像，以包含操作系统和系统库的安全补丁。定期重新构建和重新部署您的应用容器。
- 环境一致性： 确保开发、测试和生产环境之间的一致性，以避免“在我机器上能跑”的问题，尤其是在更新依赖项时。虚拟环境和容器化是此处的主要工具。
持续成本优化
LLM API 及其支持的基础设施可能会产生高额费用。如果没有积极管理，这些费用很容易失控。
- 细致成本监控： 利用提供商仪表板（例如，OpenAI 使用情况仪表板、云提供商成本分析器）和应用程序级日志记录来细致地追踪成本。按组件细分成本：LLM API 调用（如果可能，区分不同模型）、向量 (vector)数据库操作、计算资源、数据存储和网络流量。
- 识别费用集中点： 分析成本数据以找出最昂贵的操作。某个特定的代理工具是否进行了过多的 API 调用？一个复杂的调用链是否生成了过多的 tokens？向量搜索效率低下吗？
- 优化策略： 根据您的发现实施成本节约措施：
- 缓存： 缓存相同的 LLM 请求和响应。
- 批处理： 在支持的情况下，将多个请求（例如文档嵌入 (embedding)）组合到单个 API 调用中。
- 模型选择： 对于不需要最强大功能的任务，使用更小、更快、更便宜的模型。
- 输入/输出 Token 限制： 对提示词 (prompt)长度和预期输出长度执行更严格的限制。
- 节流/速率限制： 实施应用程序级速率限制，以防止滥用或失控进程。
成本分布示例，显示 LLM API 是主要的费用来源。
安全态势维护
安全不是一次性设置；它需要持续的警惕。
- 密钥轮换： 定期轮换应用程序使用的 API 密钥、数据库凭证和其他秘密信息。尽可能自动化此过程。
- 访问控制审查： 定期审查谁以及什么有权访问您的生产环境、代码仓库和敏感数据存储。应用最小权限原则。
- 漏洞扫描： 定期扫描您的应用程序代码、依赖项和容器镜像，查找已知的安全漏洞。
- 事件响应计划： 制定一份计划，说明在发生安全漏洞或重大运行故障时如何响应。谁需要被通知？解决问题和恢复的步骤是什么？
运行反馈与改进循环
您已部署的应用程序通过日志和用户交互产生有价值的数据。使用这些数据推动持续改进。
LLM 应用部署、监控、分析、优化、测试和重新部署的持续循环。
- 日志分析： 定期分析应用程序日志（不只是错误日志），以了解使用模式、找出性能瓶颈并检测异常。结构化日志记录使这更容易。
- 警报： 根据监控数据（例如高错误率、延迟增加、成本飙升、RAG 检索相关性低）配置有意义的警报，以实现主动干预。
- 用户反馈： 建立用户报告问题或提供建议的渠道。这种定性反馈对于了解痛点以及找出仅凭指标可能遗漏的改进领域非常有价值。
- 迭代优化： 将您已部署的应用程序视为一个活跃的系统。利用从监控、日志记录和用户反馈中收集到的见解，通过您的 CI/CD 流水线迭代优化提示词 (prompt)、更新模型、改进工作流程并提升用户体验。
成功运行一个 LLM 应用程序需要接受这种持续的监控、维护和改进循环。这是一个持续进行的过程，确保您的应用程序在初始部署后仍能保持高效、安全和经济。
