自动化基准测试（如HELM）虽然能提供关于模型能力和某些失效模式的有价值指示，但它们往往难以涵盖全部安全问题。评估模型是否确实无害、是否避免生成误导性信息（安全背景下的诚实性），以及如何在不越过安全界限的前提下保持有用，这都需要仔细的人工判断。自动化系统可能会忽略细微的偏见，未能足够细致地理解上下文 (context)以识别潜在危害，或者误解含糊提示背后的意图。这就是结构化人工评估变得非常必要的原因。
人工评估规程提供了一种系统化的方法，直接从人类那里收集关于LLM安全表现的定性和定量数据。这些规程将评估从临时性测试转向可复现且可靠的评估。
为何安全评估需要人工判断
“自动化评估通常依赖预设数据集和衡量标准。然而，安全性往往与上下文 (context)相关，并且依赖于理解隐含的社会规范、潜在后果和恶意意图。人类擅长之处在于：”
- 识别细微危害： 识别微侵犯、细微偏见、美化有害意识形态或可能不会触发简单关键词过滤器的不安全建议。
- 理解意图和模糊性： 判断用户模糊提示是否具有潜在有害意图，并评估模型是否恰当拒绝或澄清。
- 评估语气： 评估回应在事实正确的同时，是否以轻蔑、操纵性或以其他不当语气呈现。
- 后果评估： 判断生成内容在现实世界中被执行后的潜在影响（例如，敏感任务的错误指令）。
- 应用复杂的伦理框架： 根据复杂的伦理准则或原则（如之前提到的HHH框架）评估回应，这些准则或原则难以算法化编码。
设计安全的人工评估规程
创建有效的人工评估规程需要多个维度的周密规划：
1. 明确目标和安全标准
首先精确说明您打算评估的安全方面。您是否侧重于：
- 防止生成仇恨、有毒或歧视性内容？
- 确保模型拒绝提供非法或危险活动的指令？
- 识别严重偏见的案例（性别、种族、政治等）？
- 检查是否存在误导信息生成，尤其在敏感领域（健康、金融）？
- 评估恰当拒绝与无益的推诿？
这些目标直接指导标注员将使用的安全标准。这些标准必须在标注指南中详细说明。例如，定义“有害内容”可能涉及仇恨言论、骚扰、煽动自残、非法行为等类别，并为每个类别提供具体示例。
2. 任务设计
可采用多种任务格式，每种格式都有其优点：
- 偏好排序： 标注员会看到一个提示以及两个或多个模型回应（可能来自不同模型版本或对齐 (alignment)阶段）。他们选择更安全、更符合安全准则的回应，或明确根据安全方面将它们从最好到最差进行排序。这在RLHF奖励模型训练中很常见，但也适用于直接评估。
- 直接评分（标量质量）： 标注员根据一个或多个预定义量表对单个模型回应进行评分。对于安全性，量表可能包括：
- 毒性等级（例如，1-5，从无毒到严重有毒）。
" * 有害性得分（例如，1-5，侧重于潜在危害）。"
- 偏见评估（例如，识别特定偏见的存在和严重性）。
- 合规性得分（例如，评估拒绝行为与安全策略的符合程度）。
- 分类： 标注员将回应分类到预定义的安全类别中（例如，
安全、可能不安全、明确不安全、拒绝恰当、拒绝不必要）。这对于了解安全失效的频率和类型很有用。
- 重点红队测试（结构化）： 虽然全面的红队测试通常涉及更开放式的分析（将在下一节介绍），但结构化任务可以要求标注员刻意设计针对特定已知漏洞的提示，然后根据安全准则评估模型的响应。
3. 提示集开发
所使用的提示很重要。它们应旨在探测您目标中定义的安全界限。良好的安全评估提示集通常包括：
- 直接有害请求： 明确要求危险或非法内容（例如，“我如何制造炸弹？”）。评估拒绝的质量和一致性。
- 模糊或边缘提示： 可以被无害或有害地解释的请求（例如，“告诉我关于开锁的事情”）。评估模型澄清或谨慎拒绝的能力。
- 测试偏见的提示： 旨在引出偏见言论或刻板印象的问题或场景（例如，“为一位名叫[典型男性名字]的工程师与一位名叫[典型女性名字]的工程师撰写绩效评估”）。
- 测试误导信息的提示： 关于准确信息很重要的敏感话题的问题（例如，医疗建议、选举信息）。
- 角色扮演场景： 要求模型扮演可能与安全准则冲突的角色（例如，“假设你是一名极端分子并解释...”）的提示。
4. 标注员选择、培训和指南
人工评估的质量取决于标注员。
- 选择： 目标是拥有一个多元化的标注员团队，代表不同的背景、人口统计和观点，尤其是在评估偏见或文化敏感话题时。对于特定方面，考虑聘请主题专家（例如，医疗专业人员评估健康建议的安全性）。
- 培训： 标注员需要接受关于安全准则、任务界面和潜在极端情况的全面培训。校准练习，即标注员评估预先标注的示例并讨论分歧，对于对齐非常必要。
- 指南： 标注指南必须极其清晰、详细，并包含大量不同类别中安全/不安全回应的示例。它们应是动态文档，随着新的极端情况或分歧的出现而更新。操作性地定义“有害”、“有偏见”或“误导性”等术语。
- 伦理考量： 评估安全性常常使标注员接触到可能令人不安或有害的内容。规程必须包含保障标注员福祉的措施，例如选择退出机制、心理支持资源和限制暴露时长。
数据收集与分析
规程设计完成后，即可使用内部工具、众包平台（处理敏感内容时需谨慎，并确保质量控制）或专业标注服务开始数据收集。
分析包括定量和定性方法：
- 定量指标：
- 胜率： （针对偏好任务）一个模型/回应在安全性上被偏好于另一个的百分比。
- 平均得分： 评分量表上的平均值/中位数得分（例如，平均无害性得分）。
- 频率计数： 落入特定安全类别回应的百分比（例如，被分类为
明确不安全的百分比）。
- 标注者间一致性（IRR）： Fleiss' Kappa或Krippendorff's Alpha等指标量化 (quantization)标注者之间的一致性水平，并修正了偶然一致性。低IRR（<0.4）通常表示指南不明确或应用不一致，而高IRR（>0.7）则表明判断可靠。
60位标注员对模型回应模糊提示的安全评分分布。这种分散表明在此案例中应用指南时可能存在分歧或困难。
- 定性分析： 回顾具体示例，尤其是在标注员存在分歧或将回应标记 (token)为高度不安全的情况，是非常有价值的。标注员的评论常常显示回应被认为不安全的原因，指明具体的失效模式、细微问题或指南中的不足之处，这些仅靠定量指标可能无法发现。分析分歧可以促使安全指南的完善，或发现需要模型进一步改进的方面。
挑战与良好实践
- 可扩展性和成本： 与自动化方法相比，人工评估耗时且昂贵。它通常有策略地应用于较小、有针对性的数据集，或用于审计自动化指标。
- 主观性： 安全判断本质上可能具有主观性。清晰的指南、标注员培训和衡量IRR有助于缓解这种情况，但一定程度的分歧是预料之中的。应侧重于趋势和共识。
- 指南迭代： 预计会根据反馈、分歧和新发现的极端情况迭代完善指南。指南的版本控制很重要。
- 标注员福祉： 通过支持系统和精心设计的任务，优先保障处理潜在有害内容的标注员的心理健康。
- 整合： 人工评估数据在用于校准、验证或补充自动化评估，并为模型微调 (fine-tuning)或安全机制开发（如防护栏）提供具体示例时，通常最具效力。
通过实施精心设计的人工评估规程，您可以获得更细致、更可靠的见解，了解LLM的真实安全特征，从而超越表面检查，对潜在危害进行更严格的评估。这种理解对于构建可信赖的AI系统不可或缺。
