分层规划方法

将复杂目标分解为较小步骤（如前所述）是根本的，但对于长期任务，管理这些步骤的顺序和结构变得极其要紧。简单的线性子任务序列常常缺少处理突发事件、管理依赖关系或以不同粒度级别表示问题所需的结构。正因如此，分层规划方法必不可少。

分层规划是在多个抽象层次上制定计划。智能体并非生成单一的、扁平的原始行动列表，而是先制定一个包含抽象目标的高级计划。接着，每个抽象目标被逐步细化为更详细的子计划，这个过程持续进行，直到计划完全由可执行的低级别行动构成，这些行动通常等同于工具调用或特定的API调用。

分层计划的结构

可以将规划问题想象成一种树状结构。根节点表示总体目标。其子节点是达成目标所需的主要抽象子目标。这些子目标中的每一个都可以进一步拆解成更具体的子目标或行动，构成树的更深层次。这棵树的叶子表示智能体可以直接执行的原始行动。

一个简化的周末旅行分层计划。抽象目标被拆解成子目标，或直接分解为原始行动，例如工具调用或特别的LLM生成。

借助大型语言模型实现分层规划

在大型语言模型智能体中实现分层规划通常需要一个递归或迭代的细化过程，这个过程由精心设计的提示词引导。

1. 初始高层计划生成： 给定总体目标后，大型语言模型首先被提示生成一个由少数几个要紧抽象步骤构成的高层计划。
   • 提示示例: "将目标‘为10人组织一次团队外出活动’分解为3-5个主要阶段。"
2. 递归拆解： 智能体系统随后迭代处理抽象步骤。对于每个抽象步骤，大型语言模型再次被提示将其细化为更具体的子步骤或原始行动。
   • 提示示例: "给定阶段‘确定场地预订’，概述所需的详细行动。识别任何必需的工具调用。"
3. 原始行动确认： 这种拆解过程持续进行，直到大型语言模型生成被确认为原始行动的步骤——即智能体可以直接执行的行动，例如调用某个函数、查询API或执行明确定义的内部计算。
4. 计划表示与状态管理： 生成的层次结构需要被存储和管理。这通常意味着维护一个数据结构（如树或图），它用来表示计划，并附带每个节点的执行状态（例如：待处理、进行中、已完成、失败）。这种状态管理对于追踪进度以及在子任务失败时进行回溯或重新规划非常要紧。内存系统，特别是结构化内存，在此可以发挥很大作用。
5. 执行策略： 执行过程通常遵循计划树的深度优先或广度优先遍历。智能体在遇到原始行动时会将其执行。当一个子目标下的所有行动都成功完成后，该子目标会被标记为已完成，这使智能体能够继续执行层次结构中相应级别的下一步。

在智能体系统中的优势

采用分层规划为高级智能体带来了多重好处：

• 可伸缩性： 它通过将问题拆分成更小、更易于管理的部分，使针对复杂、长期任务的规划在计算上变得可行。
• 模块化： 针对常见抽象目标（例如“搜索信息”、“预订资源”）的子计划可以被标准化并重复使用于多个总体目标。
• 效率： 与直接在原始行动层面进行规划相比，它降低了寻找有效计划的搜索空间的复杂程度。
• 错误处理与重新规划： 当某个行动失败时，智能体可能只需在层次结构中受影响的子树内重新规划，而不必放弃整个计划。这种局部重新规划的效率高得多。例如，如果Action1_3（预订航班）失败，智能体可能只需重新考虑Step1（安排行程），或许可以通过返回Action1_1（搜索航班）或Action1_2（比较机票价格），而不会立即影响Step2（预订住宿）。

挑战与注意事项

尽管分层规划有其优点，但它也带来了一些挑战：

• 确定抽象层次： 为高层目标选择正确的拆解方式和抽象级别并非易事，而且很大程度上取决于具体任务。大型语言模型可能难以在过于抽象或过于细致之间找到恰当的平衡。
• 计划刚性： 严格限定的层次结构可能过于死板，难以适应执行过程中出现的突发状况。更高级的实现需要支持动态计划修改的机制。
• 错误传播： 层次结构中高层不当的选择可能导致在细化和执行有缺陷的子计划时浪费大量精力。
• 集成： 将分层规划有效结合到其他智能体组件中，例如推理模块（ReAct, ToT）和内存系统，需要细致的架构设计。规划器需要从内存中查询相关信息，并根据推理结果或执行反馈更新计划状态。

分层规划提供了一种强效的框架，用于组织智能体针对复杂任务的决策过程。通过在多个抽象层次上运行，智能体可以比扁平规划方法更高效地管理复杂的依赖关系和行动序列，这让我们离构建能够处理真正宏大目标的智能体更进一步。接下来的章节将检查这些计划行动，尤其是层次结构叶子上的原始行动，如何稳定地通过外部工具和API执行。