定量指标提供了性能的必要概览，但它们常掩盖微调 (fine-tuning)模型成功或失败的具体方式。自动化分数告诉你模型平均表现如何，但很少说明某些输出为何有问题，或模型如何偏离预期行为。在此定性分析变得不可或缺。它包含对模型输出进行系统化、人工驱动的审查，以获得对其能力、局限性及失败模式的更全面认识。
人工审查的必要性
生成模型，特别是那些针对复杂指令或专门范畴进行微调 (fine-tuning)的模型，其输出带有自动化指标难以捕捉的特性。考虑以下情况：
- 指令遵循： 模型可能遵循了字面要求，但错过了根本意图或违反了隐含限制。像ROUGE这样的指标，即使关键词重叠，仍可能得到一个不错的分数，尽管实际表现不佳。
- 貌似合理的幻觉 (hallucination)： 模型会生成听起来很有说服力但事实不准确的陈述。标准指标通常不进行外部知识验证。
- 风格一致性： 评估模型是否一致地采用所要求的角色、语调或格式，常需主观的人工判断。
- 安全性与偏见： 检测生成文本中不易察觉的偏见、微侵犯或潜在有害影响，对自动化系统而言具有挑战性，需细致的人工监督。
定性分析从总体分数转向审查单个实例，提供所需背景信息以理解模型性能的真实表现。
构建定性审查流程
成功的定性分析需要结构化方法，以确保一致性并产生有意义的认识。
抽样模型输出
审查每一个输出通常不可行。请使用以下方法选择有代表性的样本：
- 随机抽样： 提供普遍性能的无偏概览。
- 分层抽样： 在不同性能分组（例如，自动化指标上的高/中/低分数）或不同输入类型/分类之间抽样，以确保多样性。
- 目标抽样： 侧重于由有挑战性的提示生成的输出，这些提示已知能检验特定弱点（例如，需要复杂推理 (inference)、遵循多重限制或涉及敏感话题的提示）。
- 失败案例抽样： 专门审查被自动化指标或用户标记 (token)为有问题的输出。
制定审查员指南
清晰、明确的指南必不可少，尤其是在涉及多名审查员时。这些指南应定义：
- 模型微调 (fine-tuning)的具体任务。
- “好”与“坏”回应的标准。
- 涵盖正确性、相关性、连贯性、流畅度、指令遵循、语调、安全性等方面的评估量表或检查清单。
- 错误的严重程度（例如，轻微格式问题与严重事实错误）。
- 如何处理模糊性或主观分歧。
审查员之间的一致性（评估者间信度）应通过培训与校准会议进行衡量与保持。简单的电子表格足以用于追踪，但专业标注平台可以简化大规模审查流程。
创建错误分类体系
仅仅将输出标记 (token)为“好”或“坏”是不够的。为识别模式和根本原因，你需要对观察到的错误进行分类。一个错误分类体系为描述模型如何失败提供了标准化词汇。
一个分类体系应根据特定模型应用定制，但常见的高层次类别通常包含：
- 指令遵循错误： 未能遵循显性或隐性指令。
- 子类型： 忽略限制（长度、格式、内容）、误解提示意图、部分执行。
- 事实错误与幻觉 (hallucination)： 输出包含不正确或编造的信息。
- 子类型： 与源材料矛盾（如果提供）、生成无法验证的说法、歪曲已知事实。
- 相关性与连贯性错误： 输出离题、逻辑不一致或无意义。
- 子类型： 话题偏离、回复中存在矛盾陈述、重复循环、无意义的填充文本。
- 风格、语调与角色问题： 未能匹配所要求的语言风格。
- 子类型： 格式不当、角色不一致、不当的行话或俚语。
- 偏见与安全违规： 输出展现有害偏见或生成不当内容。
- 子类型： 刻板印象、有害语言、不公平的表示、在敏感话题上无理由拒绝。
- 格式与结构错误： 输出未能符合所要求的结构（例如，JSON、Markdown）。
- 拒绝错误： 模型错误地拒绝回答一个合理的提示。
建立分类体系常是一个迭代过程。可从广泛类别开始，并根据初始审查过程中遇到的错误进行完善。
一个简化的示例结构，用于在定性分析期间对观察到的错误进行分类。分类体系通常更详细，并根据具体应用进行定制。
进行分析与获取认识
在抽样策略、指南和分类体系已就绪的情况下，审查即可开始。审查员审查每个抽样的提示-回复对，识别任何错误，并使用分类体系进行分类。
尽管审查本身是定性的，但结果可进行定量汇总：
- 错误频率： 计算展现每种错误类型的输出百分比。
- 严重程度分布： 分析轻微与主要错误的分布。
- 相关性： 寻找模式。某些类型的提示是否一致地触发特定错误？错误是否与低模型置信分数相关联（如果可用）？错误是否在输入数据中的特定人口统计群体中更普遍？
这种量化 (quantization)有助于优先确定改进方面。例如，如果“忽略长度限制”是摘要模型最常见的错误类别，则指明了明确的纠正措施目标。
根据定性发现采取行动
定性分析的最终目标是推动改进。所获得的认识应指导：
- 模型重训练/完善：
- 数据增强： 收集或生成新的微调 (fine-tuning)数据，专门针对已识别的错误类型。例如，添加更多示例，展现对复杂格式指令的遵循。
- 超参数 (parameter) (hyperparameter)调整： 修改可能影响观察到的行为的训练参数（例如，用于创造性/事实性权衡的温度参数）。
- 指令完善： 提高微调或推理 (inference)过程中所用提示的清晰度和特异性。
- 评估集增强： 向评估集添加更多有挑战性的示例，专门追踪随时间推移减轻这些特定失败模式的进展。
- 利益相关者沟通： 提供超越简单分数范围的模型性能报告，突出具体的优点、缺点和持续进行的工作方面。
定性分析的挑战
尽管功能强大，定性分析存在局限性：
- 主观性： 人工判断可能有所不同，需要清晰的指南和校准以确保一致性。
- 可扩展性： 它比自动化评估明显更耗时、更耗资源，使其难以穷尽地应用。
- 成本： 根据规模和复杂性，它可能需要大量人工投入和专业知识。
“尽管存在这些挑战，将严谨的定性分析和错误分类纳入评估流程，对于真正理解和改进微调 (fine-tuning)大型语言模型的性能，以及处理决定实用性与安全性的核心行为，都极为重要。”
