AI智能体表现的评估，不只是简单地检查任务是否完成。考虑到智能体通过多步骤流程运作、使用工具并管理记忆来处理复杂问题，我们的评估方法必须足够完善，才能衡量这些操作维度。明白如何衡量表现，对于迭代智能体设计、优化提示以及最终构建高效可靠的自动化系统而言，非常重要。
智能体评估有何不同？
评估AI智能体，与传统的机器学习 (machine learning)模型或更简单的LLM应用相比，面临着独特的难题。像分类任务中常用的准确率或F1分数等标准衡量指标，通常不足够。原因如下：
- 多步骤、复杂任务：智能体执行一系列动作。任何一个步骤都可能出现问题，或者整体策略可能有缺陷，即使单个动作看起来正确。最终结果取决于整个推理 (inference)和执行链条。
- 工具交互：智能体经常与外部工具和API交互。评估需要考虑智能体是否选择了正确的工具、是否恰当使用，以及是否正确理解了其输出。错误可能源于智能体自身的逻辑，也可能源于工具本身。
- 规划与推理：许多智能体规划它们的动作。评估计划的质量、可行性及其效率，与最终结果同样重要。
- 开放式目标：一些智能体任务本身就是开放式的，比如“研究主题X”或“撰写报告”。为这些任务定义单一的“真实情况”可能很困难，这使得自动化评估变得有挑战性。
- 状态管理：智能体随时间推移维持和使用其内部状态或记忆的能力，是其表现的一个重要因素，尤其是对于长时间运行的任务。
这些因素表明，我们通常需要一种多方面的评估方法，将自动化衡量指标与人工监督结合起来。
智能体表现的各个维度
为了全面了解智能体的能力，我们通常会从多个维度评估其表现。
任务完成度
这是最基本的一点：智能体是否达到了指定目标？
- 成功率：一个二元衡量（是/否），表示整个任务是否成功完成。例如，如果智能体的任务是预订航班并确认，如果预订被证实完成，则记录为“是”。
- 目标达成得分：对于更详细的任务，一个分级得分（例如，0到1）或已达成子目标的清单，可以提供比简单二元成功更细致的反馈。
- 错误率：智能体未能达成主要目标或产生错误结果的任务所占的比例。
在开始评估之前定义清晰、可衡量的成功标准，对于这个维度而言必不可少。
运行效率
除了完成任务，智能体如何达到目标也具有重要意义。效率低下的智能体可能耗费高昂且缓慢。
- 完成时间：从任务开始到解决的持续时间 (Tcompletion)。通常越快越好，但不能牺牲质量或正确性。
- 步骤/动作数量：一个智能体完成某任务需要50步 (Nsteps)，而另一个只需5步，这可能表明规划、提示设计或工具使用方面存在效率低下。这通常以
ACTION_COUNT或类似方式记录。
- 资源消耗：这包括LLM调用次数、处理的令牌数量或进行的外部API调用（例如，
API_CALL_COUNT）等因素。高消耗可能意味着更高的运行成本和延迟。
- 工具使用效率：如果存在多个工具，智能体是否使用了最合适的那个？工具输入格式是否正确以避免重试？它是否进行了不必要的工具调用？
解决方案质量
对于许多智能体任务来说，达成目标并非只有一种正确方法。解决方案或所采取路径的质量很重要。
- 信息准确度：如果智能体的任务涉及获取或生成信息，这些信息的正确性、完整性和相关性如何？
- 计划的连贯性与最优性：如果智能体生成一个计划，它是否符合逻辑？是否存在冗余或不必要的步骤？是否可以采取更直接的方法？
- 可靠性与错误处理：智能体应对意外情况、工具故障或模糊输入的能力如何？它会尝试自我修正，还是会彻底失败？
- 人工评估：对于语言的自然性、智能体生成论点的说服力，或整体用户满意度等层面，主观的人工判断通常不可或缺。李克特量表或比较判断（智能体A对比智能体B）在此处很常见。
安全与合规性
确保智能体在期望的范围内运作十分重要，尤其是在生产系统中。
- 限制遵守：智能体是否遵守了所有指定的限制（例如，“不得访问预先批准列表之外的网站”，“此任务花费不超过$X”）？
- 避免危害：智能体是否避免生成有害、有偏见或不适当的内容，或采取不期望的行动？
- 与意图一致：智能体的行动和最终输出与用户潜在意图的吻合程度如何，即使明确指令有些模糊？
衡量表现的方法
可以采用多种方法来收集数据并评估基于上述维度的智能体表现。
标准化测试集
测试集为评估和比较不同智能体或同一智能体的不同版本提供了一个通用基础。示例包括：
- AgentBench：一套多样化的环境，旨在测试LLM作为智能体在不同应用场景下的能力。
- WebArena：一个真实且可复现的网络环境，用于评估自主智能体在网页导航和任务完成方面的表现。
- ALFWorld：将ALFRED数据集（具身AI）中的基于文本的任务与交互式TextWorld环境对齐 (alignment)，用于评估规划和执行。
使用已有的测试集可以进行更客观的比较，并有助于追踪该领域的进展。但要确保所选测试集与您希望评估的具体能力很好地吻合。
定向测试与整体测试
- 单元测试：侧重于单独评估智能体的特定组件或能力。例如，您可以测试智能体在给定各种输入的情况下正确使用特定工具（例如，日历API）的能力，或其分解特定类型问题的技能。这有助于更容易地找到薄弱点。
- 端到端测试：评估智能体从头到尾在完整、真实任务上的表现。虽然设置和分析更为复杂，但端到端测试能提供最好的表现指标。
两者的结合通常是最有效的方法。
人工监督的功用
对于许多复杂的智能体行为，特别是涉及创造力、理解力或在开放式环境中交互的行为，纯粹的自动化衡量指标可能不足够。人工评估对于以下方面很重要：
- 评估生成文本或计划的质量。
- 在模糊情况下验证任务成功。
- 找出自动化衡量指标可能遗漏的微小错误或不期望的行为。
- 提供用于改进的定性反馈。
这可能涉及人工标注者为智能体输出打分、比较不同智能体版本，甚至直接与智能体进行交互。
使用模拟环境
模拟器允许在受控、可复现的环境中测试智能体，而无需承担后果或成本。例如，旨在与网页浏览器交互的智能体可以在模拟浏览器环境中进行测试。这对于以下方面尤其有用：
- 测试错误处理和可靠性。
- 评估与复杂系统的交互。
- 高效运行大量测试。
迭代评估流程
智能体评估不是一次性步骤，而是开发生命周期中持续进行的部分。从评估中获得的信息会直接反馈到提示、智能体架构或工具集成的优化中。
一个评估智能体表现的迭代流程。评估是一个持续的过程，会反馈到设计和优化中。
有效评估的实用建议
- 明确成功定义：模糊的目标会导致模糊的评估。在开始测试之前，清楚地定义每项任务的成功表现。哪些是必须达成的结果，哪些是锦上添花的结果？
- 建立基线：在实施复杂的提示策略或智能体架构之前，先采用更简单的方法建立基线表现。这有助于量化 (quantization)改进的效果。
- 隔离变量：在测试更改（例如，新的提示策略）时，尝试一次只改变一个因素。这样更容易将表现差异归因于特定的修改。
- 详细记录日志：智能体动作、内部思考（如果使用ReAct风格的智能体）、工具输入/输出以及LLM响应的详细日志，对于调试和理解故障非常宝贵。
- 考虑评估成本：包括计算（API调用）和人工投入两方面。设计您的评估策略，使其对您的项目而言可持续。
- 尽可能自动化：尽管人工评估很重要，但自动化客观指标（成功率、步骤计数、API调用）的收集，将节省时间并允许更频繁地进行测试。
通过认真运用这些方法和衡量指标，您可以更深入地了解智能体的行为，系统地提升其表现，并构建出更强大、更可靠的智能体系统。这种评估方面的积累，在我们后续章节讨论调试和优化提示时，会特别有帮助。
