趋近智

所有课程

微调小语言模型

章节 1: 小语言模型原理

什么是小语言模型

微调与检索增强生成

有监督微调机制

硬件要求与显存限制

动手实践：初始化预训练小语言模型 (SLM)

章节 2: 数据准备与格式化

构建指令数据集

分词与填充策略

处理注意力掩码

针对特定架构格式化提示词

实践：构建自定义数据流水线

章节 3: 环境与库配置

配置 PyTorch 和 CUDA

Hugging Face Transformers 库简介

使用 Hugging Face Datasets 管理数据集

使用 Accelerate 优化显存

动手实践：配置训练脚本

章节 4: 参数高效微调 (PEFT)

理解全量微调的局限性

低秩自适应 (LoRA) 原理

量化 LoRA (QLoRA) 与 4 位训练

配置目标模块与秩

动手实践：实现 LoRA 配置

章节 5: 训练过程

定义训练参数与超参数

学习率与调度器

检查点与状态管理

监控损失与训练指标

实践：执行训练循环

章节 6: 模型评估与基准测试

评估文本生成质量

NLP 任务的定量指标

测试提示词泛化能力

识别生成过程中的过拟合

动手实践：运行评估脚本

章节 7: 模型合并与部署

将 LoRA 适配器与基础模型合并

将模型导出为 Safetensors 格式

使用 vLLM 部署 SLM

API 集成策略

实践：在本地部署自定义模型

趋近智

APX AI

在线

我可以读取您正在浏览的页面。随时向我提问！

趋近智

所有课程

微调小语言模型

章节 1: 小语言模型原理

什么是小语言模型

微调与检索增强生成

有监督微调机制

硬件要求与显存限制

动手实践：初始化预训练小语言模型 (SLM)

章节 2: 数据准备与格式化

构建指令数据集

分词与填充策略

处理注意力掩码

针对特定架构格式化提示词

实践：构建自定义数据流水线

章节 3: 环境与库配置

配置 PyTorch 和 CUDA

Hugging Face Transformers 库简介

使用 Hugging Face Datasets 管理数据集

使用 Accelerate 优化显存

动手实践：配置训练脚本

章节 4: 参数高效微调 (PEFT)

理解全量微调的局限性

低秩自适应 (LoRA) 原理

量化 LoRA (QLoRA) 与 4 位训练

配置目标模块与秩

动手实践：实现 LoRA 配置

章节 5: 训练过程

定义训练参数与超参数

学习率与调度器

检查点与状态管理

监控损失与训练指标

实践：执行训练循环

章节 6: 模型评估与基准测试

评估文本生成质量

NLP 任务的定量指标

测试提示词泛化能力

识别生成过程中的过拟合

动手实践：运行评估脚本

章节 7: 模型合并与部署

将 LoRA 适配器与基础模型合并

将模型导出为 Safetensors 格式

使用 vLLM 部署 SLM

API 集成策略

实践：在本地部署自定义模型