趋近智
大型语言模型(LLMs)的完全微调 (fine-tuning)通常会带来显著的计算和存储负担。尽管效果好,但调整模型中通常超过数十亿个参数 (parameter)的做法,带来了实际的阻碍,因此需要更有效的方法。追求参数效率不仅仅是为了方便;它是使LLM调整变得可用、可扩展且在许多情况下都切实可行的基本要求。
试想一个典型的大型模型,可能拥有70亿、700亿,甚至数千亿个参数 (parameter)。完全微调 (fine-tuning)需要:
高计算成本、极高内存需求和僵硬的部署逻辑相结合,使得完全微调对许多组织和研究团队来说不切实际。此外,更新所有参数存在灾难性遗忘的风险,即模型在适应新数据时,其在原始通用预训练 (pre-training)任务,甚至之前学过的微调任务上的表现会大幅下降。
完全微调 (fine-tuning)的局限性使得开发能够有效调整LLM,同时只修改总参数 (parameter)中一小部分的办法变得十分必要。这一需求推动了参数高效微调(PEFT)技术的发展和采用。主要目标包括:
PEFT方法通过策略性地添加或修改少量参数(通常少于总参数的1%),同时保持预训练模型的大部分冻结状态来实现这一点。其基本假设,尤其与后面将讨论的LoRA等方法相关,是特定任务所需的调整通常存在于一个低维子空间中。这意味着模型权重 (weight)中所需的变化,即更新矩阵,通常可以通过一个低秩矩阵有效近似,这比完整的需要少得多的参数来表示。
接下来的章节将研究具体的PEFT方法,首先详细审视低秩适配(LoRA),考察它们如何通过不同的架构和数学策略来满足这些必要条件。理解这些推动因素对于理解每种技术的设计选择和权衡至关重要。
这部分内容有帮助吗?
© 2026 ApX Machine LearningAI伦理与透明度•