ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

大型语言模型的微调与调整
章节 1: 大型语言模型适应原理
回顾:预训练语言模型和Transformer
微调和适配的必要性
自然语言处理中的迁移学习方法
微调时的架构考量
微调方法概述
章节 2: 微调数据准备
指令微调原则
指令数据集的获取与构建
监督微调(SFT)的数据格式化
域适应数据要求
数据稀缺与不平衡的处理
文本数据扩充技术
实践:准备指令微调数据集
章节 3: 全参数微调
全参数微调的机制
设置训练循环
超参数调优策略
防止过拟合的正则化方法
计算资源管理
检查点保存与训练恢复
动手实践:全参数微调较小规模的LLM
章节 4: 参数高效微调 (PEFT) 方法
参数高效性的原理
低秩适配 (LoRA)
量化低秩适配 (QLoRA)
适配器模块
提示调整
前缀微调
PEFT 方法比较
使用 Hugging Face PEFT 库进行实现
动手实践:使用 LoRA 进行微调
实操:使用QLoRA进行微调
章节 5: 高阶微调策略
多任务微调
顺序适应与持续学习
减轻灾难性遗忘
人类反馈强化学习 (RLHF) 介绍
奖励模型训练
使用 PPO 进行策略优化
高级适应中的挑战
章节 6: 微调模型的评估与分析
传统自然语言处理评估指标的局限性
评估指令遵循能力
评估事实准确性和幻觉
偏见与公平性评估方法
鲁棒性评估(对抗性攻击、分布外数据)
模型校准评估
定性分析与错误分类
人工评估规范
实践:分析模型输出中的错误
章节 7: 优化与部署考量
训练时的内存优化
使用分布式策略加速训练
微调后优化:量化
微调后优化:剪枝
合并 PEFT 适配器
模型序列化与打包
推理服务框架
生产环境中微调模型的监控

传统自然语言处理评估指标的局限性

尽管传统自然语言处理任务中常用的评估指标,如BLEU、ROUGE、准确率(Accuracy)和F1分数,在评估机器翻译或文本分类等任务时表现良好,但它们常常不足以评估微调 (fine-tuning)大型语言模型(LLM)的综合表现。不加分辨地使用它们可能导致对模型真实能力和不足的误判,尤其是在生成或指令遵循场景中。

基于参考的评估指标的不足之处:BLEU和ROUGE

BLEU(Bilingual Evaluation Understudy)和ROUGE(Recall-Oriented Understudy for Gisting Evaluation)等指标主要用于机器翻译和摘要任务。它们通过比较模型生成文本与一个或多个人工编写的参考文本之间的N-gram重叠来运作。

BLEU=BP⋅exp⁡(∑n=1Nwnlog⁡pn)\text{BLEU} = \text{BP} \cdot \exp\left(\sum_{n=1}^{N} w_n \log p_n\right)BLEU=BP⋅exp(n=1∑N​wn​logpn​) ROUGE-N=∑S∈参考摘要∑gramn∈S匹配计数(gramn)∑S∈参考摘要∑gramn∈S计数(gramn)\text{ROUGE-N} = \frac{\sum_{S \in \text{参考摘要}} \sum_{\text{gram}_n \in S} \text{匹配计数}(\text{gram}_n)}{\sum_{S \in \text{参考摘要}} \sum_{\text{gram}_n \in S} \text{计数}(\text{gram}_n)}ROUGE-N=∑S∈参考摘要​∑gramn​∈S​计数(gramn​)∑S∈参考摘要​∑gramn​∈S​匹配计数(gramn​)​

尽管在衡量表面相似度方面有用,但它们对精确N-gram匹配的依赖在评估现代大型语言模型时带来一些问题:

  1. 语义等效与词汇重叠: 大型语言模型可以生成语义上正确且符合语境的输出,但使用与参考文本不同的词汇或表达方式。BLEU和ROUGE会严重惩罚这些有效变体,仅仅因为特定词序不匹配。例如,“The weather forecast predicts rain tomorrow”(天气预报说明天有雨)和“It's expected to rain tomorrow according to the forecast”(根据预报,明天预计有雨)传达相同意义,但N-gram重叠度会很低。
  2. 参考范围受限: 提供涵盖所有可接受变体的全面参考文本通常不切实际或不可能,尤其对于开放式生成任务。这些指标天生会惩罚回应中的创造性或多样性,如果它们偏离了预定义的有限“好”答案集。
  3. 对意义扭曲不敏感: 相反,一个生成内容可能通过重复参考中的关键词获得高重叠分数,但完全扭曲原文意义或未能捕捉到必要细节。
  4. 短文本上表现不佳: 对于涉及非常短的回答或特定格式指令的任务,N-gram重叠成为衡量质量的可靠性较低的指标。一个词语的差异可能显著改变分数,但未能反映质量的相应变化。

生成1在词汇上相似,并获得不错的分数。生成2在语义上相似但词汇不同,得分较低。生成3不正确,得分接近零。BLEU在评估生成2的有效性时遇到困难。

分类评估指标的局限性:准确率、精确率、召回率、F1

准确率、精确率、召回率和F1分数等指标是分类任务的常用方法,模型在这些任务中从预定义集合中预测离散的类别标签。

准确率=正确预测数总预测数\text{准确率} = \frac{\text{正确预测数}}{\text{总预测数}}准确率=总预测数正确预测数​ F1=2⋅精确率⋅召回率精确率+召回率\text{F1} = 2 \cdot \frac{\text{精确率} \cdot \text{召回率}}{\text{精确率} + \text{召回率}}F1=2⋅精确率+召回率精确率⋅召回率​

试图将生成大型语言模型的评估生硬地套入此框架,暴露出显著的局限:

  1. 不适用于开放式生成: 大型语言模型的大多数微调 (fine-tuning)任务涉及文本生成,而非分类。对于生成的段落、摘要或对话回应,没有单一的“正确”标签。为准确率计算定义“正确性”变得模糊不清,或需要过于简化的替代指标。
  2. 忽略输出质量: 准确率对所有“不正确”的输出一视同仁。一个连贯、相关且仅略有不准确的生成回应,可能与无意义或完全偏离主题的输出受到相同的惩罚。这些指标未能捕捉到重要的特性,如流畅性、连贯性、创造性、风格遵循或事实准确性。
  3. 任务过度简化: 尽管某些大型语言模型应用可以被框定为分类(例如情感分析),但微调通常旨在实现更复杂的行为,例如遵循多步指令、扮演角色或综合信息。简单的分类指标无法衡量这些更复杂场景下的成功。

标准指标在微调 (fine-tuning)大型语言模型中的遗漏之处

鉴于这些基于参考和分类指标的局限,它们未能捕捉到微调大型语言模型表现特有的重要方面:

  • 指令遵循: 模型对提示或指令的具体要求遵循得如何?标准指标在这方面提供的信息很少。
  • 事实准确性与“幻觉 (hallucination)”: 生成文本可能流畅且语法正确(如果参考在风格上相似,BLEU/ROUGE得分会很高),但包含事实不准确或编造的信息(“幻觉”)。这些指标对事实性不敏感。
  • 安全性、偏见与有害内容: 模型可以生成与参考内容高度一致或获得高“准确率”的输出,但仍会产生有害、带有偏见或不当的内容。标准指标很少包含安全性维度。
  • 连贯性与一致性: 基于N-gram的指标主要评估局部流畅性。它们难以评估较长生成文本的逻辑流程、信息一致性和整体连贯性。
  • 校准性: 模型表达的置信度(例如,通过概率分数)与其实际正确性匹配得如何?标准指标不衡量这种可靠性。

因此,尽管这些传统指标有时能提供部分信号,尤其是在高度受限的任务中,或者作为更全面评估方案的一个组成部分,但仅依赖它们会提供不完整且可能具误导性的评估。有效评估需要超越这些方法,采用直接衡量指令遵循、事实依据、安全性、稳健性和其他定性方面的方法,正如我们将在后续章节中讨论的。

  • BLEU: a Method for Automatic Evaluation of Machine Translation, Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu, 2002 Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (Association for Computational Linguistics) DOI: 10.3115/1073083.1073135 - 介绍了BLEU分数,一种基于n-gram重叠的机器翻译自动评估基础指标。
  • ROUGE: A Package for Automatic Evaluation of Summaries, Chin-Yew Lin, 2004 Text Summarization Branches Out (Association for Computational Linguistics) DOI: 10.3115/1621876.1621880 - 提出了ROUGE指标套件,通过将生成文本与参考文本进行比较,广泛用于评估摘要和其他文本生成的质量。

© 2026 ApX Machine Learning