定性分析与错误分类

定量指标提供了性能的必要概览，但它们常掩盖微调模型成功或失败的具体方式。自动化分数告诉你模型平均表现如何，但很少说明某些输出为何有问题，或模型如何偏离预期行为。在此定性分析变得不可或缺。它包含对模型输出进行系统化、人工驱动的审查，以获得对其能力、局限性及失败模式的更全面认识。

人工审查的必要性

生成模型，特别是那些针对复杂指令或专门范畴进行微调的模型，其输出带有自动化指标难以捕捉的特性。考虑以下情况：

• 指令遵循： 模型可能遵循了字面要求，但错过了根本意图或违反了隐含限制。像ROUGE这样的指标，即使关键词重叠，仍可能得到一个不错的分数，尽管实际表现不佳。
• 貌似合理的幻觉： 模型会生成听起来很有说服力但事实不准确的陈述。标准指标通常不进行外部知识验证。
• 风格一致性： 评估模型是否一致地采用所要求的角色、语调或格式，常需主观的人工判断。
• 安全性与偏见： 检测生成文本中不易察觉的偏见、微侵犯或潜在有害影响，对自动化系统而言具有挑战性，需细致的人工监督。

定性分析从总体分数转向审查单个实例，提供所需背景信息以理解模型性能的真实表现。

构建定性审查流程

成功的定性分析需要结构化方法，以确保一致性并产生有意义的认识。

抽样模型输出

审查每一个输出通常不可行。请使用以下方法选择有代表性的样本：

1. 随机抽样： 提供普遍性能的无偏概览。
2. 分层抽样： 在不同性能分组（例如，自动化指标上的高/中/低分数）或不同输入类型/分类之间抽样，以确保多样性。
3. 目标抽样： 侧重于由有挑战性的提示生成的输出，这些提示已知能检验特定弱点（例如，需要复杂推理、遵循多重限制或涉及敏感话题的提示）。
4. 失败案例抽样： 专门审查被自动化指标或用户标记为有问题的输出。

制定审查员指南

清晰、明确的指南必不可少，尤其是在涉及多名审查员时。这些指南应定义：

• 模型微调的具体任务。
• “好”与“坏”回应的标准。
• 涵盖正确性、相关性、连贯性、流畅度、指令遵循、语调、安全性等方面的评估量表或检查清单。
• 错误的严重程度（例如，轻微格式问题与严重事实错误）。
• 如何处理模糊性或主观分歧。

审查员之间的一致性（评估者间信度）应通过培训与校准会议进行衡量与保持。简单的电子表格足以用于追踪，但专业标注平台可以简化大规模审查流程。

创建错误分类体系

仅仅将输出标记为“好”或“坏”是不够的。为识别模式和根本原因，你需要对观察到的错误进行分类。一个错误分类体系为描述模型如何失败提供了标准化词汇。

一个分类体系应根据特定模型应用定制，但常见的高层次类别通常包含：

1. 指令遵循错误： 未能遵循显性或隐性指令。
   • 子类型： 忽略限制（长度、格式、内容）、误解提示意图、部分执行。
2. 事实错误与幻觉： 输出包含不正确或编造的信息。
   • 子类型： 与源材料矛盾（如果提供）、生成无法验证的说法、歪曲已知事实。
3. 相关性与连贯性错误： 输出离题、逻辑不一致或无意义。
   • 子类型： 话题偏离、回复中存在矛盾陈述、重复循环、无意义的填充文本。
4. 风格、语调与角色问题： 未能匹配所要求的语言风格。
   • 子类型： 格式不当、角色不一致、不当的行话或俚语。
5. 偏见与安全违规： 输出展现有害偏见或生成不当内容。
   • 子类型： 刻板印象、有害语言、不公平的表示、在敏感话题上无理由拒绝。
6. 格式与结构错误： 输出未能符合所要求的结构（例如，JSON、Markdown）。
7. 拒绝错误： 模型错误地拒绝回答一个合理的提示。
   • 子类型： 过度谨慎的拒绝、无理由声称无法完成。

建立分类体系常是一个迭代过程。可从广泛类别开始，并根据初始审查过程中遇到的错误进行完善。

一个简化的示例结构，用于在定性分析期间对观察到的错误进行分类。分类体系通常更详细，并根据具体应用进行定制。

进行分析与获取认识

在抽样策略、指南和分类体系已就绪的情况下，审查即可开始。审查员审查每个抽样的提示-回复对，识别任何错误，并使用分类体系进行分类。

尽管审查本身是定性的，但结果可进行定量汇总：

• 错误频率： 计算展现每种错误类型的输出百分比。
• 严重程度分布： 分析轻微与主要错误的分布。
• 相关性： 寻找模式。某些类型的提示是否一致地触发特定错误？错误是否与低模型置信分数相关联（如果可用）？错误是否在输入数据中的特定人口统计群体中更普遍？

这种量化有助于优先确定改进方面。例如，如果“忽略长度限制”是摘要模型最常见的错误类别，则指明了明确的纠正措施目标。

根据定性发现采取行动

定性分析的最终目标是推动改进。所获得的认识应指导：

1. 模型重训练/完善：
   • 数据增强： 收集或生成新的微调数据，专门针对已识别的错误类型。例如，添加更多示例，展现对复杂格式指令的遵循。
   • 超参数调整： 修改可能影响观察到的行为的训练参数（例如，用于创造性/事实性权衡的温度参数）。
   • 指令完善： 提高微调或推理过程中所用提示的清晰度和特异性。
2. 评估集增强： 向评估集添加更多有挑战性的示例，专门追踪随时间推移减轻这些特定失败模式的进展。
3. 利益相关者沟通： 提供超越简单分数范围的模型性能报告，突出具体的优点、缺点和持续进行的工作方面。

定性分析的挑战

尽管功能强大，定性分析存在局限性：

• 主观性： 人工判断可能有所不同，需要清晰的指南和校准以确保一致性。
• 可扩展性： 它比自动化评估明显更耗时、更耗资源，使其难以穷尽地应用。
• 成本： 根据规模和复杂性，它可能需要大量人工投入和专业知识。

“尽管存在这些挑战，将严谨的定性分析和错误分类纳入评估流程，对于真正理解和改进微调大型语言模型的性能，以及处理决定实用性与安全性的核心行为，都极为重要。”