趋近智
在准备好适应所需的必要数据集后,我们现在转向修改预训练 (pre-training)大型语言模型本身的方法。本章侧重于全参数 (parameter)微调 (fine-tuning),这种方式是根据新的任务特定数据更新原始模型中的每个权重 (weight)()。
您将学习此过程的核心机制,包括:
在本章结束时,您将理解全微调的完整工作流程,并通过动手实践获得实际经验,为以后理解更资源高效的方法打下基础。
3.1 全参数微调的机制
3.2 设置训练循环
3.3 超参数调优策略
3.4 防止过拟合的正则化方法
3.5 计算资源管理
3.6 检查点保存与训练恢复
3.7 动手实践:全参数微调较小规模的LLM