使用宪法AI (CAI) 和来自AI反馈的强化学习 (reinforcement learning) (RLAIF) 训练模型只是整个流程的一个环节。验证这些技术是否成功地赋予了所需的对齐 (alignment)属性，需要专门的评估方法。标准的自然语言处理 (NLP) 基准测试在评估安全性、符合特定原则的有用性或抵御轻微操纵的能力方面往往力有不逮。

本章侧重于严格评估通过CAI和RLAIF对齐的模型所需的具体方法。你将了解：

• 制定和应用专门针对对齐目标量身定制的衡量标准，不再局限于通用性能指标。
• 采用系统的红队策略，积极寻找模型弱点和失效模式。
• 进行鲁棒性测试，使用对抗性或分布外输入来衡量模型韧性。
• 分析AI反馈机制的典型失效模式，例如谄媚行为或奖励模型滥用。
• 应用适当的统计技术，以确保评估结果有意义。
• 进行定性分析，以更全面地了解模型行为和对齐特点。

掌握这些评估技术对建立对齐LLM的安全性和可靠性方面的信心非常重要，并且有助于有效迭代对齐流程本身。我们还将进行一个设计红队测试套件的实践练习。