趋近智
趋近智
一旦您的多智能体大型语言模型系统构建并投入使用，仅仅验证它“能用”是不够的。为了真正了解其性能、保证其可靠性并指导其改进，您必须严格衡量其效果。与单智能体设置相比，评估多智能体系统存在明显的难题，这主要是由于复杂的交互网络、可能出现的涌现 (emergence)行为以及问题解决的分布式特性。本节提供了一个框架和具体指标，用于评估您的多智能体大型语言模型系统执行其预期功能的表现。
对多智能体系统进行全面评估需要从多个角度审视其性能。我们可以将指标大致分类，以涵盖这些不同方面：
选择合适的指标组合很大程度上取决于具体的应用、多智能体系统的架构以及您希望达成的目标。
这些通常是最直接的成功衡量标准，因为它们与系统的目的相关。
GAR是一个基本指标，代表系统成功完成任务或子任务的百分比。对于复杂、多阶段的工作流程，您可以在不同粒度上定义GAR：总体任务完成情况，或特定重要里程碑的完成。例如，如果一个系统设计用于处理100个客户咨询，并成功解决了90个，则GAR为90%。
产出质量非常重要。根据任务的不同，这可以客观或主观地衡量：
这衡量从任务开始到成功完成的持续时间。平均TCT以及百分位数分布（例如，P95、P99 TCT）可以显示性能一致性并找出异常值。
对于许多应用来说，多智能体系统的经济可行性是一个重要因素。这涉及比较达成解决方案的成本（大型语言模型API调用、计算资源、人工监督时间）与从该解决方案中获得的有形或无形效益。
这些指标提供了对多智能体系统整体运行状况和效率的了解。
吞吐量衡量系统处理任务的速率，通常表示为单位时间内完成的任务数（例如，每小时生成的报告数，每天解决的问题数）。它是系统处理能力的直接指标。
虽然任务完成时间侧重于单个任务，但总系统延迟可以包括排队时间、编排延迟以及在任务开始处理之前或智能体完成其部分之后发生的其他系统级开销。
监控资源消耗对于性能优化和成本管理都非常重要。
可扩展性是指系统处理日益增长工作负载的能力。这可以通过观察性能指标（如吞吐量 (throughput)和延迟）如何随着并发任务、用户或活跃智能体数量的增加而变化来评估。例如，如果智能体数量增加一倍，吞吐量几乎增加一倍，而延迟没有显著增加，则系统表现出良好的可扩展性。
系统在不利条件下保持功能。
这是一个整体衡量指标，通常表示为每成功完成一个任务的成本或每个期望结果的成本。它结合了资源利用指标（特别是大型语言模型成本）和任务导向的成功指标。
评估单个智能体有助于了解它们的贡献，并找出表现不佳或有问题的组件。
对于协作任务，尝试量化 (quantization)每个智能体对最终结果的贡献。这有难度（参见下面的“归因问题”），但可能涉及启发式方法，例如完成的重要子任务数量、提供信息的价值，或其行动对团队成功的影响。
跟踪每个智能体发送和接收的消息数量。一个过于健谈的智能体可能效率低下，而一个很少通信的智能体可能不投入或成为瓶颈。这些通信的性质和必要性也同样重要。
如果智能体设计有特定角色并且必须遵循特定的通信或行为协议，则监控其合规性。偏差可能导致系统效率低下或错误。
单个智能体花在其分配的子任务上的时间。这有助于确定哪些智能体类型或特定智能体实例是计算瓶颈。
多智能体系统的核心在于其组件间的交互。
衡量用于协调活动（例如，任务分配、协商、同步）的资源（时间、消息、计算工作量）相对于实际任务执行所消耗的资源。高开销可能表明协调机制效率低下。
对于需要智能体达成一致的任务（例如，分布式决策），衡量达成共识所需的时间或交互轮数。
在智能体目标或信息可能冲突的系统中，跟踪冲突的频率以及解决这些冲突的机制效率。
借鉴自网络分析的技术可以应用于智能体通信图。中心性（识别有影响力的智能体）或中介性（识别对信息流重要的智能体）等指标可以提供对通信结构和潜在弱点的了解。
评估多智能体大型语言模型系统并非没有困难：
为了收集这些指标的数据，您将采用多种策略：
并非所有指标都适用于每个系统。选择应受以下指导：
下图显示了您如何根据几个选定指标比较多智能体系统的两个版本。版本2经过一些优化后，在任务完成方面有所改进，平均延迟降低，每个任务的API成本也更低。
比较两个系统迭代之间的性能指标。版本2展现了更高的完成率和效率。
随着您对系统及其操作环境的理解不断加深，迭代改进您的指标集。衡量什么决定了你能改进什么。认真量化效果是构建和维护高效可靠的多智能体大型语言模型系统的基础，它也促成了有效的调试和性能调优。
这部分内容有帮助吗？
© 2026 ApX Machine Learning用心打造