在分别确定了宪法人工智能（CAI）和AI反馈强化学习（RLAIF）的基本原理和实现细节后，我们现在来看它们的整合。结合这两种方法，有望通过发挥明确的原则性指导和习得的偏好优化的优势，实现更全面大型语言模型的对齐。本章详细说明了构建有效使用CAI和RLAIF的系统的策略和考量。

你将学到：

• CAI指导RLAIF过程的方式，例如通过使用宪法来塑造AI偏好标注器或奖励函数。
• 使用CAI监督阶段产生的输出（批评和修改）作为RLAIF训练的数据或初始化。
• 结合这些方法的架构选择，包括顺序应用（例如CAI微调后接RLAIF）对比更紧密结合或联合训练的方案。
• 管理宪法中规定的指令与RLAIF模型习得的偏好之间可能出现的潜在分歧或冲突的技术。
• 用于构建结合两种方法的对齐流程的实际系统设计模式。
• 对比分析框架，用于评估整合方法的有效性，与单独使用CAI或RLAIF进行对比。