趋近智
上一章讲解了全参数微调,这种办法会更新模型中的每个权重。这种办法虽然有效,但随着模型参数量达到数十亿,其计算成本变得难以承受。对GPU内存和计算能力的高要求,使全参数微调在许多实际应用中无法实现。
本章介绍参数高效微调 (PEFT),这是一系列旨在以显著更少计算资源调整大型模型的技术。我们将重点介绍低秩适应 (LoRA),它会冻结原始模型权重并注入更小、可训练的矩阵。LoRA并非更新庞大的原始权重矩阵 ,而是学习一个低秩更新,,其中 和 中的参数数量远小于 。你将学习如何使用Hugging Face的PEFT库来实现这一点。
我们还将考察量化如何进一步减少内存占用,从而引出像QLoRA这样的方法。本章最后将进行PEFT与全参数微调的比较分析,明确两者在性能和资源使用上的权衡。完成本章后,你将掌握实用技能,能够在消费级硬件上将现代、高效的微调方法应用于超大型模型。
4.1 参数高效微调概述
4.2 低秩适应(LoRA):原理与运作
4.3 使用PEFT库实现LoRA
4.4 量化及其对微调的影响 (QLoRA)
4.5 其他PEFT方法:概述
4.6 PEFT与完全微调的优劣对比
4.7 动手实践:使用 LoRA 进行微调
© 2026 ApX Machine Learning用心打造