部署模式：联机预测与批量预测

模型在训练和打包之后，需要决定如何为应用程序生成预测。这不只是一个技术细节；它定义了用户和系统如何与模型的智能进行交互。服务预测有两种主要方法：批量预测和联机预测。每种方法都有不同的用途，并在成本、速度和基础架构方面各有权衡。

批量预测：批量处理数据

批量预测（也称为离线预测）是模型一次性为大量观测数据计算预测的过程。批量处理不是全天候即时响应请求，而是按计划运行，例如每小时一次或每天一次。

假设你想向最有可能购买特定产品的客户发送每日促销邮件。由于不需要实时识别这些客户，可以每晚运行一次处理程序，分析当天的客户活动，生成目标客户列表，并保存该列表供营销团队在第二天早上使用。

这就是批量预测的本质。其工作流程通常如下：

1. 数据采集： 输入数据随时间收集并存储在数据库或数据湖中。
2. 定期触发： 调度器（如 cron 作业）在预定时间启动预测程序。
3. 处理： 脚本加载训练好的模型，读取整批输入数据，并由模型运行。
4. 存储： 模型的预测结果保存到数据库或文件中。其他应用程序随后可以访问这些预先计算好的结果，而无需直接与模型交互。

典型的批量预测架构。模型作为定时作业运行，处理大量数据并将结果存储供以后使用。

何时使用批量预测

当业务不需要立即获得预测结果时，批量预测非常适用。常见的案例包括：

• 客户分群： 根据客户过去一周的购买行为将其分为不同的群体。
• 邮件中的产品推荐： 生成个性化的产品推荐，并包含在每日简报中。
• 风险报告： 在营业日结束时为所有贷款申请人计算信用风险评分。

这种模式的主要优点是高吞吐量 (throughput)和成本效益。由于任务对时间不敏感，你可以使用较便宜的计算资源，并在一次运行中处理数百万条记录。基础架构也更简单，因为不需要一个始终在线并随时准备响应的服务。缺点是高延迟；从数据产生到预测结果可用可能需要数小时甚至数天。

联机预测：按需提供预测

联机预测（也称为实时推理 (inference)或按需推理）旨在立即提供预测。在这种模式下，模型被部署为一个持久运行的服务（通常是 Web API），始终等待请求。

考虑一个必须决定是否批准信用卡交易的网站。当客户在结账处等待时，必须在几毫秒内做出决定。应用程序将交易详情发送到模型的 API，模型必须几乎瞬间返回“批准”或“拒绝”的预测。

这是联机预测的经典案例。其工作流程是一个直接的请求-响应循环：

1. API 请求： 客户端应用程序（如移动应用或 Web 服务器）将单个数据点或一小组数据点发送到模型的 API 端点。
2. 实时处理： API 服务接收数据，立即将其传递给已加载的模型，并生成预测。
3. API 响应： 服务在 API 响应中直接将预测结果返回给客户端应用程序。

联机预测架构，应用程序直接与模型 API 服务通信以获取即时预测。

何时使用联机预测

只要应用程序需要立即响应才能正常运行，联机预测就是必须的。常见的例子包括：

• 欺诈检测： 实时分析交易，在交易完成前将其拦截。
• 动态定价： 根据当前的供需情况调整网约车服务的价格。
• 垃圾邮件过滤： 在邮件进入用户收件箱之前，判断其是否为垃圾邮件。

这种模式的主要优点是低延迟。预测结果在毫秒内即可获得，从而实现交互式的用户体验。主要缺点与成本和复杂度有关。它需要维护一个高可用的服务来应对流量波动，这通常比简单的定时作业更昂贵，运维要求也更高。

快速对比

选择正确的模式是设计机器学习 (machine learning)系统的初始步骤。这一决策由你的产品对速度、规模和成本的要求决定。

特性	批量预测 (离线)	联机预测 (实时)
延迟	高（分钟、小时或天）	低（毫秒至秒）
吞吐量 (throughput)	高（一次处理多条记录）	低（一次处理一个请求）
数据量	大型的、有界的数据集	单个数据点或小型微批次
基础架构	较简单（触发式脚本）	较复杂（始终在线、可扩展的 API 服务）
成本	较低（按需使用计算资源）	较高（需要持续运行的服务器）
示例用法	每日客户流失预测	聊天应用中的实时语言翻译

在实践中，一些复杂的系统甚至会使用混合方法。例如，电子商务网站可能每晚运行批量作业，为所有用户生成基础产品推荐。当用户登录时，联机模型可以根据用户在当前会话中的点击操作进一步优化这些推荐。

理解这两种基本模式是规划模型部署的重要组成部分，有助于确保部署方案符合你的应用需求。