大模型训练

Ray Shine 2025/3/22 大模型进阶知识训练

本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

如有侵权，请联系本博主删除。

大模型训练是一个复杂且资源密集的过程，涵盖数据准备、模型架构选择、分布式训练、优化器与学习率调度及训练稳定性等多个关键环节。本文将深入探讨这些技术，从海量数据收集与清洗，到Transformer变体的选择，再到数据并行、模型并行等分布式策略，以及AdamW、Cosine Annealing等优化方法，旨在全面解析大模型训练背后的原理与实践，确保模型高效稳定地收敛。

# 1.1 数据准备与处理

浅层理解

训练大模型需要大量高质量的数据，就像给一个超级大脑喂食营养丰富的知识。

基础

数据是大模型训练的基石，其质量和规模直接影响模型的性能。

数据收集：
- 浅层理解：从各种地方收集文本、图片、声音等信息。
- 深入分析：从互联网（如Common Crawl、Wikipedia、Reddit）、书籍、代码库、学术论文等多种来源收集海量文本、图像、音频、视频等多模态数据。数据量通常达到TB甚至PB级别。
数据清洗：
- 浅层理解：去除脏数据，比如重复的、错误的、不好的内容。
- 深入分析：去除重复数据、过滤低质量内容（如乱码、语法错误、不连贯的文本）、删除有害或偏见数据、进行格式统一和错误修正。高质量的数据能显著提升模型效果，避免模型学习到错误或有偏见的信息。
数据增强：
- 浅层理解：通过一些方法让数据变得更多样。
- 深入分析：通过同义词替换、回译（文本）、图像变换（如旋转、裁剪）、噪声添加等技术扩充数据集，增加数据的多样性，提高模型泛化能力，减少过拟合。
分词 (Tokenization)：
- 浅层理解：把文本切分成模型能理解的小单元。
- 深入分析：将原始文本切分成模型可处理的最小单元（token）。常用的分词器包括BPE (Byte Pair Encoding)、WordPiece、SentencePiece等。分词的质量直接影响模型对文本的理解能力。

# 1.2 模型架构选择

浅层理解

选择适合任务的模型结构，就像选择合适的工具来完成工作。

架构

大模型通常基于Transformer架构，但具体实现上会有多种变体。

Transformer变体：
- Encoder-Decoder (编解码器)：如T5、BART。适用于序列到序列的任务，如机器翻译、文本摘要。编码器理解输入，解码器生成输出。
- Decoder-only (仅解码器)：如GPT系列、LLaMA。擅长自回归生成，即根据前文预测下一个词，适用于文本续写、对话、代码生成等任务。
- Encoder-only (仅编码器)：如BERT。擅长理解文本的上下文信息，适用于分类、问答、命名实体识别等判别式任务。
参数规模：根据可用计算资源和期望性能，确定模型的层数、隐藏层维度、注意力头数等超参数。更大的模型通常性能更强，但训练和推理成本也更高。

# 1.3 分布式训练策略

浅层理解

因为模型太大，一台电脑装不下，所以要很多电脑（GPU）一起训练，大家分工合作。

并行

由于大模型参数量巨大，单个GPU或服务器无法满足训练需求，必须采用分布式并行训练。

数据并行 (Data Parallelism)：

原理：最常用的策略。将训练数据分成小批次，分发到不同的设备（如GPU）上进行计算。每个设备拥有完整的模型副本，独立计算梯度，然后将所有设备的梯度聚合（如求平均）后更新所有设备上的模型参数。
优点：实现相对简单，扩展性好，能有效利用多GPU资源。
常用实现：PyTorch的DDP (DistributedDataParallel)。

伪代码示例：数据并行训练

Function DataParallelTraining(Model, Dataset, Optimizer, Num_GPUs):
    // 1. 初始化模型和优化器
    Initialize Model_on_Main_GPU(Model)
    Initialize Optimizer(Model_on_Main_GPU.parameters())
    
    // 2. 将模型复制到所有GPU
    For each GPU_i in Num_GPUs:
        Model_on_GPU_i = Copy(Model_on_Main_GPU)
    
    // 3. 训练循环
    For each epoch:
        For each batch in Dataset:
            // 4. 将Batch数据分割并分发到各GPU
            Split_Batch = Split(batch, Num_GPUs)
            
            // 5. 各GPU独立计算前向传播和反向传播
            For each GPU_i in Num_GPUs:
                Output_i = Model_on_GPU_i(Split_Batch[i].inputs)
                Loss_i = Compute_Loss(Output_i, Split_Batch[i].labels)
                Loss_i.backward() // 计算梯度
            
            // 6. 聚合所有GPU的梯度 (All-reduce操作)
            Aggregated_Gradients = AllReduce(Gradients_from_all_GPUs)
            
            // 7. 更新主GPU上的模型参数 (或所有GPU同步更新)
            Optimizer.step(Aggregated_Gradients)
            Optimizer.zero_grad() // 清除梯度
    
    Return Trained_Model

这个伪代码展示了数据并行训练的基本流程：将数据批次分割到多个GPU上，每个GPU独立计算梯度，然后通过All-reduce操作聚合梯度，最后更新模型参数。这种方式能够有效利用多GPU资源加速训练。

模型并行 (Model Parallelism)：
- 原理：当模型过大无法放入单个GPU的显存时，将模型的不同层或参数分割到不同的设备上，每个设备只负责模型的一部分计算。
- 优点：能够训练超大规模模型，突破单设备显存限制。
- 挑战：通信开销大，负载均衡困难，实现复杂。
- 常用实现：NVIDIA的Megatron-LM框架。
流水线并行 (Pipeline Parallelism)：
- 原理：将模型的不同层分配给不同的设备，形成一个计算流水线。每个设备处理模型的一部分，并将中间结果（激活值）传递给下一个设备。
- 优点：提高GPU利用率，减少空闲时间，可以与数据并行结合。
- 挑战：存在气泡（bubble）问题，即部分设备可能处于空闲状态。
混合并行：
- 原理：结合数据并行、模型并行和流水线并行等多种策略，以最大化训练效率和可扩展性。例如，在每个节点内使用模型并行，节点间使用数据并行。
- 常用实现：DeepSpeed、Colossal-AI等。

# 1.4 优化器与学习率调度

浅层理解

优化器帮助模型找到最好的学习路径，学习率调度则控制学习的速度，先快后慢。

优化

选择合适的优化器和学习率调度策略对于大模型的稳定训练和快速收敛至关重要。

优化器：
- AdamW：Adam优化器的变体，通过解耦权重衰减和L2正则化，在Transformer模型中表现优异，是训练大模型的首选优化器之一。
- Lion：Google提出的新一代优化器，据称比AdamW更高效，通过符号函数更新权重。
学习率调度 (Learning Rate Scheduler)：
- Cosine Annealing with Warmup：训练初期逐渐增加学习率（warmup），以稳定训练并避免早期陷入局部最优；然后按照余弦函数衰减学习率，有助于模型稳定收敛并跳出局部最优。
- Polynomial Decay：学习率按多项式函数衰减。
- Step Decay：每隔一定步数或周期，学习率按固定比例衰减。

# 1.5 训练稳定性与收敛

浅层理解

确保模型在训练过程中不“跑偏”，最终能学到有用的东西。

稳定性

大模型训练过程中容易出现各种不稳定问题，需要采取措施确保训练过程的稳定性和最终的收敛。

梯度裁剪 (Gradient Clipping)：
- 功能：限制梯度的最大范数，防止梯度爆炸，保持训练稳定。
- 重要性：在大模型训练中尤为关键，因为大模型更容易出现梯度过大的情况。
混合精度训练 (Mixed Precision Training)：
- 功能：结合FP16（半精度浮点数）和FP32（单精度浮点数）进行训练。模型参数和梯度存储为FP16，但部分关键计算（如梯度累加）使用FP32。
- 优势：显著减少显存占用，加速训练，同时保持模型精度。
检查点 (Checkpointing)：
- 功能：定期保存模型参数、优化器状态、学习率调度器状态等，以便从中断处恢复训练，防止意外情况导致训练中断。
NaN值检测与处理：
- 功能：监控训练过程中是否出现NaN（Not a Number）值，这通常是由于梯度爆炸或数值不稳定引起的。
- 处理：一旦发现NaN，可以回滚到上一个检查点，并调整学习率或优化器参数。

总结

大模型训练是一个系统工程，需要综合考虑数据、架构、并行策略、优化算法和稳定性控制。这些技术的协同应用，使得训练万亿参数级别的大模型成为可能，并不断推动AI能力的边界。

← 大模型概述与生态大模型微调 →

一ξひβθ光 i