ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

大师班

如何构建大语言模型
章节 1: 大型语言模型概论
定义大型语言模型
序列建模的历史背景
规模的重要性
计算方面的挑战概览
软件与硬件环境
章节 2: 大型语言模型的数学预备知识
线性代数回顾:向量与矩阵
微积分回顾:梯度与优化
概率与统计基础知识
数值稳定性考量
本课程中使用的符号表示
章节 3: 回顾序列处理架构
循环神经网络 (RNN) 的基本内容
简单RNN的局限性
长短期记忆(LSTM)网络
门控循环单元 (GRU)
基于RNN的序列到序列模型
章节 4: Transformer 架构
通过注意力机制解决循环问题
缩放点积注意力
多头注意力机制
位置编码方法
编码器与解码器堆叠
层归一化与残差连接的作用
章节 5: 大词汇量分词
子词分词的必要性
字节对编码 (BPE) 算法
WordPiece 分词
SentencePiece 实现
处理特殊分词
词汇量大小选择的权衡
章节 6: 大规模文本数据的获取与收集
确定潜在数据来源
使用 Common Crawl 数据
规模化网页抓取技术
使用开放许可数据集
数据获取的法律考量
章节 7: 数据清洗与预处理流水线
质量筛选策略
文本标准化方法
处理冗余内容与标记删除
近似重复和精确重复检测
语种识别与过滤
构建可扩展的预处理流水线
章节 8: 建立和管理大规模数据集
数据存储格式(文本、Arrow、Parquet)
分布式文件系统 (HDFS, S3)
数据索引用于高效检索
数据集版本管理与复现性
用于训练的流式数据加载器
章节 9: 训练中的数据取样策略
数据配比的重要性
来源权重策略
基于温度的采样
课程学习简介
数据步进与退火调度
章节 10: 从零开始实现Transformer
设置项目环境
实现缩放点积注意力
构建多头注意力层
实现位置感知前馈网络
构建编码器层和解码器层
组装完整的Transformer模型
章节 11: Transformer模型规模化:架构选择
神经网络语言模型的缩放定律
深度与宽度取舍
激活函数选择 (ReLU, GeLU, SwiGLU)
规范化层放置位置(前置LN vs. 后置LN)
稀疏注意力机制简介
章节 12: 深度网络的初始化方法
恰当初始化的重要性
Xavier(Glorot)初始化
Kaiming (何) 初始化
Transformer组件中的初始化
末尾层的小初始化
章节 13: 位置编码的变体
绝对位置编码的局限性
相对位置编码的原理
Shaw 等人的相对位置实现
Transformer-XL 相对位置编码
旋转位置编码 (RoPE)
章节 14: 高级架构改进
参数高效微调的需求
Transformer的适配器模块
专家混合模型 (MoE) 简介
MoE 中的路由机制
MoE 层中的负载均衡
章节 15: 分布式训练策略
动机:为什么要进行分布式训练?
数据并行 (DP)
张量并行 (TP)
流水线并行 (PP)
混合并行策略 (DP+TP, DP+PP等)
通信开销分析
章节 16: 实现分布式训练框架
分布式训练库概述
DeepSpeed 介绍
使用 DeepSpeed ZeRO 优化
Megatron-LM 介绍
配置 Megatron-LM 中的张量和流水线并行
结合框架与策略
章节 17: LLMs的优化算法
梯度下降算法变体回顾 (SGD, 动量)
自适应优化器:Adam和AdamW
学习率调度策略
梯度裁剪方法
选择优化器超参数 (lr, betas, eps, weight_decay)
章节 18: 大型语言模型训练的硬件考量
GPU 架构 (NVIDIA Ampere, Hopper)
TPU 架构(Google TPU)
内存需求(HBM、GPU显存)
互连技术 (NVLink, InfiniBand)
硬件选择的权衡 (成本、性能、可用性)
章节 19: 检查点和容错
长时间训练中检查点的必要性
保存模型状态(权重、优化器状态)
处理分布式检查点
异步检查点与同步检查点
检查点频率与存储管理
从检查点恢复训练
章节 20: 混合精度训练方法
浮点数格式(FP32、FP16、BF16)简介
低精度的好处(速度、内存)
FP16训练中的挑战(范围问题)
损失缩放技术
使用 BF16 (BFloat16) 格式
框架对混合精度(AMP)的支持
章节 21: 内在评估指标
语言模型评估方法
困惑度:定义与计算
理解困惑度得分
每字符/词比特数
分词对困惑度的影响
章节 22: 下游任务外部评估
下游任务评估的理由
常见下游自然语言处理任务
评估时的微调步骤
标准基准:GLUE 和 SuperGLUE
少量示例和零示例评估
开发定制评估任务
章节 23: 分析模型行为
解读大型语言模型的难题
注意力图可视化
探查内部表示
神经元激活分析
找出失效模式
章节 24: 识别与应对训练不稳定现象
不稳定性常见表现
监控训练指标(损失、梯度范数)
诊断损失飙升
调试数值精度问题
稳定方法回顾(梯度裁剪、学习率、预热)
架构选择对稳定性的影响
章节 25: 对齐微调:监督式微调 (SFT)
大型语言模型对齐的目标
监督微调(SFT)介绍
构建高质量指令数据集
SFT数据格式(提示词,回应)
SFT训练过程与超参数
评估SFT模型对齐目标
章节 26: 人类反馈强化学习 (RLHF)
RLHF 流程概述
收集人类偏好数据
训练奖励模型 (RM)
近端策略优化 (PPO) 介绍
RL PPO 微调
KL散度惩罚的作用
RLHF中的挑战与考量
替代方法:直接偏好优化 (DPO)
章节 27: 模型压缩技术
模型压缩的动因
权重量化 (INT8, INT4)
激活量化考量
网络剪枝(结构化与非结构化)
知识蒸馏
评估性能与压缩的权衡
章节 28: 高效推理策略
自回归解码中的挑战
键值(KV)缓存
优化的注意力实现 (FlashAttention)
吞吐量批处理策略
推测解码
章节 29: 大规模部署大型语言模型
LLM 交互的 API 设计
模型服务框架 (Triton, TorchServe)
处理并发请求
跨模型实例的负载均衡
监控服务性能和成本
章节 30: 持续训练与模型更新
持续改进的缘由
持续预训练策略
持续微调(SFT/RLHF)的策略
安全地整合新数据源
模型架构变动后的更新
版本管理、部署与回滚策略

数据集版本管理与复现性

训练大型语言模型是一个资源消耗大的过程,通常需要在昂贵的硬件集群上运行数周或数月。因此,复现性不仅是一个科学上的理想,更是工程上的必然要求。如果一次训练运行产生了意想不到的结果,或者你需要回顾几个月前某个特定的模型检查点,你必须能够精确重构该次运行所使用的确切数据集状态。仅仅存储数TB的数据是不够的;你需要数据集版本管理的方法。

与Git等系统能很好地处理代码不同,数据集由于其庞大的体积,带来了独有的版本管理难题。在版本控制系统中直接存储多TB数据集的多个完整副本是不切实际且成本过高的。此外,数据集的“版本”不仅仅是原始文件;它包括用于创建最终训练就绪数据的特定预处理代码、筛选参数 (parameter)、分词 (tokenization)设置和抽样策略。

为何要进行数据集版本管理?

有效的数据集版本管理在LLM开发背景下提供了几项重要益处:

  1. 复现性: 主要目标。能够重新创建特定训练运行所使用的确切数据,可以让你可靠地复现结果、排查问题(如第24章讨论的损失峰值),并公平地比较不同的实验。
  2. 追踪数据演变: LLM数据集很少是静态的。你可能会引入新的数据源、改进清洗启发式规则,或者修复预处理流程中的错误。版本管理追踪这些变化,让你能够理解数据漂移或修改如何随时间影响模型性能。
  3. 协作: 大型项目通常涉及多位工程师进行数据准备工作。版本管理提供了一个清晰的参考点,确保每个人都使用预期的版本数据来完成他们的任务。
  4. 审计和合规性: 在某些情况下,为了审计或法规目的,可能需要追溯用于训练特定模型版本的确切数据。

数据集版本的组成部分

当我们谈论LLM数据集的版本管理时,我们通常需要追踪几个相互关联的组成部分:

  • 处理后的数据文件: 实际的分词 (tokenization)数据文件,通常是分片的,存放在分布式文件系统或对象存储中。
  • 预处理代码: 用于清洗、筛选、归一化 (normalization)和分词的代码的特定版本(例如,Git提交哈希)。
  • 配置: 预处理期间使用的参数 (parameter),如质量阈值、去重设置、词汇量大小和特殊标记 (token)定义。
  • 源数据标识符: 用于原始数据源的指针或标识符(例如,Common Crawl快照ID、网络抓取日期、源数据集名称和版本)。
  • 元数据: 处理后的数据文件的校验和或哈希值,以确保数据完整性;数据集统计信息(文档数量、标记数量);以及可能的数据划分信息(训练集/验证集)。

数据集版本管理策略

考虑到数据集的规模,版本管理通常涉及管理元数据和指针,而不是直接复制数据本身。以下是一些常见策略:

1. 命名约定和清单文件

一种基本方法是为目录或存储前缀采用规范的命名约定,其中包含版本标识符、时间戳或相关的配置哈希值。例如,处理后的数据集可能位于s3://my-llm-datasets/processed/v2.1_vocab32k_cc-2023-03/这样的路径中。

作为补充,你可以创建清单文件(例如,JSON或YAML格式),列出属于特定版本的所有数据文件及其校验和与重要元数据。这个清单文件很小,可以与预处理代码一起轻松地使用Git进行追踪。

import hashlib
import json
import os
from glob import glob

def calculate_sha256(filepath):
  """计算文件的SHA256哈希值。"""
  sha256_hash = hashlib.sha256()
  with open(filepath, "rb") as f:
    # 以4K块读取并更新哈希字符串值
    for byte_block in iter(lambda: f.read(4096), b""):
      sha256_hash.update(byte_block)
  return sha256_hash.hexdigest()

def create_dataset_manifest(data_dir, manifest_path, version_info):
  """为目录中的文件创建清单文件。"""
  manifest = {
      "version_info": version_info,
      "files": []
  }
  
  # 示例:假设数据文件是.arrow格式
  data_files = sorted(glob(os.path.join(data_dir, "*.arrow"))) 
  
  print(f"正在为 {len(data_files)} 个文件在 {data_dir} 中生成清单...")
  
  for filepath in data_files:
    filename = os.path.basename(filepath)
    checksum = calculate_sha256(filepath)
    manifest["files"].append({
        "filename": filename,
        "sha256": checksum,
        "size_bytes": os.path.getsize(filepath) 
    })
    
  with open(manifest_path, 'w') as f:
    json.dump(manifest, f, indent=2)
    
  print(f"清单已保存至 {manifest_path}")

# --- 示例用法 ---
dataset_directory = "/path/to/processed_data/v2.1_vocab32k_cc-2023-03" 
output_manifest = "/path/to/repo/dataset_manifests/v2.1.json"
git_commit_hash = "a1b2c3d4e5f6" # 在实际流程中以编程方式获取此值

version_metadata = {
    "dataset_version": "2.1",
    "preprocessing_code_commit": git_commit_hash,
    "source_info": "Common Crawl 2023年3月快照",
    "tokenizer_vocab_size": 32000
}

# 确保输出目录存在
os.makedirs(os.path.dirname(output_manifest), exist_ok=True) 

# create_dataset_manifest(dataset_directory, output_manifest, version_metadata) 
# 注意:取消注释以上行并替换路径以运行; 
# 这仅作说明用途,并假定数据文件存在于指定路径。
print("说明性清单生成设置已完成。")
print(f"将处理的文件位于: {dataset_directory}")
print(f"将清单保存至: {output_manifest}")
print(f"相关元数据: {version_metadata}")

这个清单(v2.1.json)随后可以提交到Git。要使用这个数据集版本,你的训练流程会读取清单,(可选地)验证校验和,并从其存储位置加载列出的文件。

2. 专用数据版本控制工具

DVC(数据版本控制)、Pachyderm和LakeFS等工具是专门设计用于结合Git处理大型数据文件的。它们的操作原理是在Git中存储元数据和指针,而实际数据则存放在外部存储中(如S3、GCS、HDFS,甚至是本地驱动器)。

例如,DVC通过创建小的.dvc元文件来工作,这些文件包含有关实际数据文件的信息,包括它们的哈希值和存储位置。这些元文件会提交到Git。

一个典型的工作流程可能如下所示:

  1. 追踪数据: dvc add s3://my-llm-datasets/processed/v2.1_vocab32k_cc-2023-03
    • 此命令分析数据、计算哈希值、创建一个.dvc文件(例如,v2.1_vocab32k_cc-2023-03.dvc),如果数据尚未存在,还可能将其上传到已配置的DVC远程存储。
  2. 提交元数据到Git: git add v2.1_vocab32k_cc-2023-03.dvc .gitignore; git commit -m "Add dataset v2.1"
    • 这个小的.dvc文件被添加到Git,将这个特定的数据版本与代码库版本关联起来。
  3. 获取数据: dvc pull v2.1_vocab32k_cc-2023-03.dvc(或者直接 dvc pull)
    • 在另一台机器上或稍后,检出Git提交并运行dvc pull会从远程存储下载.dvc文件中列出的相应数据文件。

这些工具通常提供超越基本版本管理的功能,例如数据管道和实验追踪集成。

DVC如何将Git追踪与大型文件存储分离的概述。

3. 云存储版本管理功能

许多云存储服务(如Amazon S3或Google Cloud Storage)提供内置的对象版本管理功能。启用此功能后,当对象被覆盖或删除时,会自动保留其先前版本。尽管启用简单,但这种方法通常缺少清单文件或DVC等专用工具所提供的与代码版本和预处理步骤的明确关联。它主要作为备份和恢复机制,而非用于复杂机器学习 (machine learning)流程的完整成熟数据集版本管理系统。在没有额外追踪机制的情况下,更难识别究竟哪一组对象版本对应于特定的训练运行。

关联数据集、代码和实验

真正的复现性需要将版本化数据集与用于训练的特定代码提交以及生成的模型产物和指标关联起来。MLflow、Weights & Biases、Comet ML等实验追踪平台在此处非常有价值。在记录实验时,你应该包含:

  • 训练代码的Git提交哈希。
  • 所用数据集版本的标识符(例如,清单文件的路径、DVC标签或存储前缀)。
  • 该次运行使用的超参数 (parameter) (hyperparameter)。
  • 输出模型检查点路径。
  • 评估指标。

这创建了一个完整的、可审计的记录,将输入(代码、数据、配置)与输出(模型、指标)连接起来。

总而言之,管理用于LLM训练的庞大数据集不仅仅是存储问题。实施清晰的数据集版本管理方法,无论是通过规范命名和清单还是通过专用工具,对于复现性、调试、协作以及构建可靠的大型语言模型都十分根本。它确保你对数据准备和训练计算的大量投入能够带来可理解和可重复的结果。

  • Data Version Control (DVC) Documentation, Iterative, Inc., 2024 - Data Version Control (DVC) 的官方文档,DVC 是一种用于对数据集和机器学习模型进行版本控制的开源工具,可与 Git 集成。
  • Designing Machine Learning Systems: An Iterative Process for Production-Ready AI, Chip Huyen, 2022 (O'Reilly Media) - 本书提供了构建生产级机器学习系统的策略,包括在大规模机器学习中数据管理、版本控制和再现性的实践。
  • Data Management for Machine Learning: A Survey, Ce Zhang, Xin Luna Dong, and Anand P. Rajaraman, 2020 Proceedings of the VLDB Endowment, Vol. 13 (VLDB Endowment) DOI: 10.14778/3400735.3400736 - 机器学习中数据管理挑战和技术的调查,涵盖数据准备、版本控制和血缘等对再现性很重要的内容。
  • lakeFS Documentation, Treeverse, 2024 (Treeverse) - lakeFS 的官方文档,这是一个开源工具,为数据湖提供类似 Git 的分支和版本控制,从而实现数据实验的原子事务和隔离环境。

© 2026 ApX Machine Learning