在线与离线评估方法

评估向量 (vector)搜索系统的性能，不仅要了解其独立运行时的表现，还要考察其在预期使用场景下的行为方式。两种主要方法应对此点：离线评估和在线评估。它们在开发和部署高级搜索系统的整个过程中，扮演着不同但相互补充的角色。

离线评估：受控评测

离线评估是使用一个静态的、预设的数据集和对应的“真值”来测试搜索系统。此真值通常包含查询-文档对，其中对于每个查询，都有一系列被认为相关的文档（常附带相关性得分）。

目的与过程： 离线评估的主要目标是在受控环境下评测搜索算法和索引配置的固有质量和性能特点。它在开发、调优和回归测试阶段必不可少。

典型过程包括：

1. 数据集准备： 准备一组有代表性的查询和文档语料库。
2. 真值生成： 对于每个查询，确定语料库中的相关文档。这通常是耗时耗力的一步，可能需要人工标注者。
3. 执行： 使用待测试的向量 (vector)搜索系统配置，对已索引的语料库运行准备好的查询。
4. 测量： 使用特定指标，将系统结果与真值进行比较。

评估排序列表时，通常使用标准信息检索指标：

优势：

• 可复现性： 测试可在相同条件下重复进行。
• 可控性： 比较算法或参数 (parameter)设置时（例如，HNSW 的 efSearch 与 efConstruction），允许变量分离。
• 成本效益： 一旦真值可用，比在线实验更便宜、更快。
• 调试： 通过检查与真值不符之处，更容易诊断具体故障。

局限性：

• 真值依赖： 评估质量完全取决于真值数据集的质量和代表性，而创建和维护真值数据集可能既昂贵又耗时。
• 静态特性： 不反映实时用户行为、不断变化的查询分布或生产系统的动态特性。
• 衡量指标： 像召回率@k 或 NDCG@k 这样的指标是用户满意度的衡量指标。离线得分高并不总能保证在生产环境中成功。

在线评估：验证

在线评估常通过 A/B 测试或交错测试进行，它在实际生产环境中，使用真实用户流量来衡量系统性能。它不依赖预设的真值，而是评估改变如何影响实际用户行为和业务目标。

目的与过程： “主要目的是理解搜索系统变化所产生的影响。新的索引策略、排名算法或混合搜索方法能否真正提高用户满意度或达到业务目标？”

典型的 A/B 测试过程包括：

1. 假设： 提出关于改变预期影响的假设（例如，“使用 OPQ 而非 PQ 将减少延迟，而不会明显损害用户参与度”）。
2. 变体部署： 部署系统的两个（或更多）版本：一个对照组（当前系统）和一个变体组（带有改变的系统）。
3. 流量分配： 将用户或查询随机分配到对照组或变体组。
4. 日志记录： 记录两个组的用户交互（点击、转化、会话时长等）。
5. 分析： 在收集到足够数据后，统计分析各组目标指标的差异，以确定改变是否产生了假设的效果。

常用指标： 在线指标侧重于用户行为和业务结果：

• 点击率（CTR）： 获得点击的搜索结果百分比。
• 转化率： 导致期望行动（例如，购买、注册、文档下载）的搜索百分比。
• 零结果率： 返回无结果的查询百分比。
• 会话时长 / 停留时间： 用户与搜索结果或后续内容交互的时间长度。
• 任务成功率： 对于特定任务（如在 RAG 中），用户是否达到了目标？
• 用户反馈： 明确的反馈得分或评级。

优势：

• 真实性： 使用实际用户和查询来衡量性能，反映真实系统使用情况。
• 业务一致性： 直接衡量对业务目标和用户满意度的影响。
• 隐式反馈： 使用用户行为作为一种相关性判断形式。
• 全面性： 捕捉整个系统的效果，包括用户界面/用户体验元素与搜索的互动。

局限性：

• 复杂性： 需要 A/B 测试、日志记录和分析的基础设施。
• 时间与流量： 需要大量用户流量和时间才能获得统计学上显著的结果。
• 风险： 表现不佳的变体可能会对用户体验和业务指标产生负面影响。
• 噪声： 结果可能受到外部因素（季节性、促销、不相关的网站更改）的影响。
• 调试难度： 难以找出指标变化的准确原因（相关性与因果关系）。

补充方法

离线评估和在线评估并非替代方案，而是评估过程中的顺序且互补的阶段。

该图显示了典型的工作流程，其中离线评估告知哪些系统候选方案足够有潜力，可通过在生产或接近生产的环境中进行在线 A/B 测试来验证。

工作流程整合： 通常，您会在开发期间广泛使用离线评估。您可以比较不同的 ANN 算法，调整 efSearch 或 nprobe 等参数 (parameter)，评估量化 (quantization)效果，并使用真值数据集快速迭代。只有离线评估中发现的最有潜力的候选方案才应提升到在线 A/B 测试。在线测试则作为最终验证，在全面投入生产之前，确认离线改进是否能转化为真实用户的实际收益。

关联性挑战： 一个重要的挑战是确保离线和在线指标之间的关联性。有时，改善离线指标（例如，召回率@100）的改变可能不会改善，甚至可能会损害在线指标（例如，第一页的点击率）。这种差异出现常因为离线指标可能无法完全捕捉用户感知或任务完成的细微之处。了解这种潜在差距很重要；离线评估有助于过滤掉明显差的选项，而在线评估则对用户感知的质量和业务影响提供最终判断。

“总之，一种全面的评估策略会使用离线测试进行受控、快速迭代和调试，并使用在线测试来验证影响和用户满意度。掌握两者都是构建和维护高性能、高级向量 (vector)搜索系统所必需的。”