如何让训练更快：GPU 算力评估

如何让训练更快？

要回答这个问题，不妨反过来想：训练时间的长短到底由什么决定？直观来看，可以给出一个粗略的公式——但真正有价值的是，把它拆开，看清每一个变量到底在扮演什么角色。

但我们需要细化决定因素

在深度学习训练中，训练时间的计算涉及多个因素：Epochs 数量、全局批次大小（Global Batch Size）、微批次大小（Micro Batch Size）、计算设备数量等等。下面是一个基本示意公式，主要解释正比反比关系，实际训练要考虑的因素远比这复杂：

其中：

• Epochs
  ：模型处理整个训练数据集的次数

• 总样本数
  ：训练数据集中的样本总数

• 全局批次大小
  ：每次训练迭代中处理的数据样本总数

• 每步时间
  ：每次训练迭代所需的时间（取决于硬件、模型、优化算法等）

• 设备数
  ：训练所用的计算设备数量（如 GPU 数量）

这个公式只提供了一个基本框架。实际训练时间还会受到 I/O 速度、网络延迟（分布式训练）、CPU-GPU 通信速度等影响，只能作为粗略估计。

我们再细化上面的内容

深度学习模型的训练时间由多个因素决定，包括但不限于以下几点：

• Epochs 数量
  ：一个 epoch 意味着模型处理完整个训练数据集一次。epoch 越多，需要处理的数据越多，训练时间就越长。

• 全局批次大小
  ：每次迭代处理的数据样本总数。全局批次越大，每个 epoch 需要的迭代次数就越少，可能缩短总训练时间。但过大可能导致内存溢出（OOM）。

• 微批次大小
  ：每个计算设备每次迭代处理的数据量。微批次越大，设备计算效率可能越高，但同样可能引发 OOM。

• 硬件性能
  ：CPU、GPU 的性能直接影响计算速度。

• 模型复杂性
  ：层数、参数数量等。模型越复杂，计算量越大。

• 优化算法
  ：SGD、Adam 等算法以及学习率等超参数设置。

• 并行策略
  ：数据并行、模型并行等策略的使用。

决定训练时间长短的因素很多，需要根据具体任务和环境综合考虑。

那么，在这个公式中，“Time per Step”应该理解成主要和 GPU 的硬算力相关。一次训练 step 所需的时间，由硬件性能、模型复杂性、优化算法共同决定。

那么 total training steps 由什么决定？

总训练步数等于 Epochs 数量乘以每个 Epoch 中的 Steps 数量：

那么 Global batch size 由什么决定？

假设一个场景

设 batch_size = 10（每批次大小），total_num = 1000（训练数据总量）。默认梯度累计为1，则训练步数 train_steps = 1000 / 10 = 100，即每个 epoch 有100步，梯度更新步数也是100。

如果显存不够，需要减小 batch_size，设置 gradient_accumulation_steps = 2，则 batch_size = 10 / 2 = 5。此时训练2个批次数据才更新一次梯度，每个批次数据量为5（显存压力减小，但梯度更新数据量仍为10个数据一更新）。结果：训练步数变为 1000 / 5 = 200，增加了一倍。梯度更新步数依然是 1000 / 10 = 100，没变。但注意，设置了梯度累计后，每一步需要处理多个微批次的梯度累积，可能会略微增加每步计算时间。因此，在内存充足的情况下，通常优先增大微批次大小；内存不够时，才考虑使用梯度累积。

全局批次大小对模型训练效果有重要影响。较大的全局批次能提供更准确的梯度估计，有助于收敛，但也会增加每个设备的内存压力。这时就可以用梯度累积：在每台设备上用较小的微批次训练，减小内存压力，同时保持较大的全局批次，获得准确的梯度估计。这样就能在有限硬件资源上训练大型模型，而不牺牲全局批次大小。

总的来说，

。

所以，从公式看，

——前提是不出现 OOM 且 GPU 算力被占满。这也是之前文章提到 H20 增加内存大小、内存带宽、NVL 的原因之一。

数据并行与 batchsize 的关系

本小节实际上是对上面那个公式的展开分析：

在分布式深度学习中，数据并行是一种常见策略。训练数据被拆分成多个小批次，分发到不同计算节点上，每个节点拥有模型副本，用自己接收到的数据子集进行训练。这样所有节点可以同时训练，加速整个流程。

每个训练步骤结束时，所有节点的模型权重需要同步。这个同步过程通过 AllReduce 操作实现——它将所有节点的数据聚合，再把结果广播回所有节点。数据并行中，AllReduce 用于聚合梯度，然后将聚合后的梯度广播给各节点，每个节点用它更新自己的模型参数。

是否使用 AllReduce 取决于训练策略和硬件架构。如果只在单设备（如一个 GPU）上训练，通常不需要 AllReduce。但如果用多设备分布式训练，尤其是数据并行，就必须用 AllReduce 或类似操作来同步参数。

在使用数据并行（Data Parallelism，DP）时，现代框架（如 PyTorch、TensorFlow）会调用 NVIDIA 的集合通信库（NCCL）实现跨 GPU 通信。每个 GPU 有模型参数副本，用自己的数据子集训练，每步结束后通过 NCCL 的 AllReduce 同步权重。不过具体使用哪些 NCCL 操作，取决于框架和训练策略。

数据并行和微批次大小是相互关联的概念。如果配置了 DP，实际上已经在用微批次大小——即使没有明确设置它。因为把训练数据分配给多个设备并行处理时，你已把原始批次大小拆成了多个“微批次”，每台设备处理一个。

如果没有启用 DP 或模型并行（MP），只在单设备上训练，那么微批次大小和全局批次大小是相等的。但一旦启用了 DP 或 MP，两者就可能不同：全局批次大小被拆成多个微批次，所有设备的微批次之和就是全局批次。

数据并行可以在单台服务器的多个设备（如多个 GPU）之间进行，也可以跨越多个服务器，具体取决于硬件配置和深度学习框架。当你设置 DP = 8 时，意味着训练在8个计算设备上并行进行，它们可以都在同一台服务器上，也可以分布在多台服务器上。

至于流水线并行（Pipeline Parallelism，PP），它允许模型的不同部分在不同设备上并行执行。这种情况下，DP = 8 意味着每个流水线阶段都有8个设备并行处理数据。