2030年，Scaling Law会到达极限吗？GPT-6能出来吗？

9 月 2 日，马斯克宣布 xAI 上线了名为“Colossus”的训练集群，配备了 10 万块英伟达 H100 GPU，还计划未来几个月翻倍到 20 万块，其中 5 万块是更先进的 H200。这再次印证，AI 训练规模的增长速度——年增长率高达 400%——确实惊人。但问题来了：这种狂飙能持续到 2030 年吗？EPOCH AI 的一篇文章对此进行了深入分析，指出了四个可能卡住脖子的瓶颈：供电、芯片产能、数据稀缺和延迟。到 2030 年，AI 训练的计算量有望达到 2e^29 FLOP，这意味着新一代 AI 模型可能诞生，其能力跃升的幅度，就像从 GPT-2 到 GPT-4 那样显著。准备好迎接这场大爆炸了吗？代价是数千亿美元的投资，但回报也可能革命性。先来看几个有意思的要点： - 2030 年，很可能可以实现 2e^29 FLOP 的训练规模，**2030 的模型能力和现在相比，就像 GPT-4 和 GPT-2 的区别**。 - 分布式训练有潜力克服集中式训练的电力瓶颈，实现比单一园区更大的训练规模。 - 到 2030 年，GPU 的年产量预计将增长 30% 到 100%。 - 五年内人类将耗尽全部文字语料，音视频数据或将缓解窘境，但质量没有保证。 - 计算和通信延迟几乎成了不可避免的限制，但为此焦虑还为时尚早。 - AI 可能为经济带来 10 倍以上的增长提速。鉴于这一潜力，投资者可能会将大量资本从传统领域转向 AI 开发及其基础设施建设。 目录： 01 限制AI持续增长的四大瓶颈 02 供电是迫在眉睫的制约因素 03 分布式训练是潜在的解决之道 04 GPU供不应求，芯片产能仍需提高 05 文本语料将在五年内消耗殆尽 06 充满未知的救星：多模态数据 07 终极限制：延迟 08 哪个瓶颈限制最大？ 09 尽管充满变数，2030实现飞跃仍有可能 --- ## **01 限制AI持续增长的四大瓶颈** 近年来，AI 模型的能力提升有目共睹，而算力资源的增长是背后的核心驱动力。稳定的、可预测的增长让各大 AI 实验室敢于持续扩大训练规模——目前训练计算量正以每年 4 倍的速度膨胀。这个速度，已经超越了近代史上一些著名的科技扩张：手机（1980–1987 年每年 2 倍）、太阳能（2001–2010 年每年 1.5 倍）以及人类基因组测序（2008–2015 年每年 3.3 倍）的峰值增长率，都被甩在了身后。问题是，这种势头能一直延续到 2030 年吗？文章梳理了可能限制 AI 继续扩张的四大因素：**电力限制、芯片产能、数据稀缺和延迟限制**。 核心发现是：2030 年很可能实现 2e^29 次浮点运算（FLOP）的训练。换句话说，我们届时训练出的模型规模将远超 GPT-4，其能力跃升会像 GPT-4 超过 GPT-2 一样令人震撼。如果愿意砸下数千亿美元去追求这个目标，那么 AI 的下一次重大进步或许就在眼前。 电力供应方面，已经有计划到 2030 年建设 1–5 吉瓦（GW）的数据中心园区，这足以支撑从 1e^28 到 3e^29 FLOP 的训练规模（作为对比，目前 GPT-4 的训练规模大约为 2e^25 FLOP）。**如果采用分布式训练，把多个地区的能源基础设施联合起来，规模还能进一步扩大。** 根据对美国电力现状的预测，分布式电力网络可能提供 2–45 GW 的电力，假如带宽足够，训练规模可达 2e^28 到 2e^30 FLOP。如果未来 3–5 年再规划建设更多电站，电力资源还能更充裕。 芯片产能方面，**芯片是训练大型模型的关键原料。** 目前产能扩张受制于先进封装技术和高带宽内存（HBM）的生产能力。不过，考虑到芯片制造商计划的产能扩张以及硬件效率的提升，预计 2030 年的芯片产能可以支撑 9e^29 FLOP 的训练规模。当然，这一预测存在很大不确定性：我们总体预计 2030 年全球能产出 2000 万到 4 亿个 H100 等效 GPU，对应训练规模在 1e^29 到 5e^30 FLOP 之间（比 GPT-4 大 5000 到 30 万倍）。 数据资源方面，**训练大模型需要海量数据。** 目前互联网上约有 500 万亿字的独特文本，预计到 2030 年还会增长 50%。图像、视频和音频数据的多模态学习可能适度增加数据量，大约能翻三倍。在考虑了数据质量、可用性、训练周期和多模态分词器效率的不确定性后，我们估计到 2030 年将有 400 万亿到 2 万万亿个 token 可用，这将支撑 6e^28 到 2e^32 FLOP 的训练规模。另外，AI 生成的合成数据可能大幅增加这一数据量。 延迟限制方面，**模型训练需要时间来完成前向传播和反向传播。** 随着模型规模扩大，需要的操作数增多，延迟自然就拉长了。虽然可以通过增加并行处理的 token 数量（即 batch size）来缓解，但这种方法有其极限——一旦超过“临界 batch size”，继续增大 batch size 反而会导致效率下降。这就在一定时间内给 batch size 的扩展和训练总 FLOP 数设定了上限。我们估计，在现代 GPU 设置上，累积延迟将把训练规模限制在 3e^30 到 1e^32 FLOP 之间。要突破这个天花板，可能需要优化网络拓扑结构，或者从计算和通信技术层面减少延迟。 虽然还有诸多不确定性，但到 2030 年实现约 2e^29 FLOP 的训练规模是可能的。这将是一个巨大的跃升——相当于从 GPT-2 到 GPT-4 的区别。**最可能率先卡住脖子的因素是电力供应，其次是生产足够芯片的能力。要实现更大规模的扩张，必须大幅扩展能源基础设施、新建发电厂，同时分布更多的数据中心，并显著提升芯片产能。** --- ## **02 供电是迫在眉睫的制约因素** 到 2030 年，单个数据中心园区的用电规模可能在 1 到 5 GW 之间——这是一个相当惊人的数字。这样的电力容量能支撑 1e^28 到 3e^29 FLOP 的 AI 训练。这一估计参照了现实案例：亚马逊在宾夕法尼亚州签下了 960 兆瓦的核电合同，而 OpenAI 和微软正在计划建设一个 5 GW 的园区。 另一方面，想要突破单一园区的电力上限，可以采用分布式并行训练，同时利用多个地区的能源基础设施。根据预测，一个分布式训练网络需要加起来 2 到 45 GW 的电力，从而支撑 2e^28 到 2e^30 FLOP 的训练。数据中心间的带宽也是限制因素之一——现有数据中心一般提供 4 到 20 Pbps 的带宽，这能支撑 3e^29 到 2e^31 FLOP 的训练。由于这种带宽水平已经相当高，和电力供应问题比起来，带宽还不是主要障碍。我们预计，到 2030 年，支持 GPU 运行所需的电力等基础设施成本，大约是 GPU 自身成本的 40%。而且随着天然气或太阳能等替代能源的发展，这个比例还可能进一步下降。 ### **当前AI训练对电力的需求** 目前，AI 模型训练只占数据中心总耗电的一小部分，但这一比例正在迅速攀升。大规模训练主要依赖 GPU，而当下最先进的 GPU 是英伟达 H100，其热设计功耗（TDP）为 700W。如果算上集群互连、CPU 等支持硬件，以及数据中心级的冷却和电力分配开销，每个 GPU 的峰值电力需求会上升到约 1700W。 利用这个数据，可以估算出知名大模型的耗电规模。例如，最近发布的 Llama 3.1 405B 模型，训练规模为 4e25 FLOP，使用了 1.6 万块 H100 GPU，也就是说需要大约 27 MW 的电力。虽然这个数字放在当前数据中心里不算最高，但已经远高于平均水平。我们预计到 2030 年，大模型训练规模将是 Llama 3.1 405B 的 5000 倍，即 2e^29 FLOP。不过，电力需求的增长不会按相同比例放大，原因有几个： - 硬件会越来越节能。2010 年到 2024 年间，每块 GPU 的 FLOP 性能每年增长约 1.28 倍。如果这个趋势延续到 2030 年，训练效率将提升约 4 倍。 - 未来的训练将更高效地使用硬件。虽然 Llama 3.1 405B 用的是 FP16 格式（16 位精度），但 FP8 训练正在普及，预计到 2030 年训练将全面转向 8 位，效率再翻 2 倍。 - 训练周期会更长。自 2010 年以来，模型的训练周期每年增加 20%，到 2030 年将延长约 3 倍。更长的训练时间意味着能源需求被分摊到更长时间段。 综合这些因素，我们预计到 2030 年，一次 2e^29 FLOP 的训练运行将比 Llama 3.1 405B 高效大约 24 倍，因此电力需求大约只有后者的 200 倍——约 6 GW。这个数字与美国 1200 GW 的总装机容量相比不大，但考虑到目前全美所有数据中心的耗电总和才 20 GW，而且其中大量用于非 AI 业务，6 GW 已经相当可观。 ### **电力对集中式训练的限制** 无论训练是在单个数据中心还是单一园区内的多个数据中心完成，供电方式只有两种：园区内现场发电，或者通过电网从发电站取电。当前，大公司更倾向于前者。 Meta 买下了密苏里州一个 350 MW 太阳能农场的电力输出权，以及亚利桑那州一个 300 MW 太阳能农场的电力输出权。亚马逊在宾夕法尼亚州拥有一个数据中心园区，与邻近的 2.5 GW 核电站签订了高达 960 MW 的供电合同。这些交易的核心动机是节省电网连接成本，并保证能源供应稳定。在未来几年，这样的数据中心可能支撑起前所未有的大规模训练——960 MW 的电力是今天 27 MW 所需的 35 倍以上。 能否通过现场发电获得更多电力？目前美国至少有 27 座发电能力超过 2.5 GW 的发电厂，最大的当属华盛顿州的大库利水电站，发电能力达 6.8 GW。然而，已有的电力订单已经划走了这些电厂很大一部分容量，要想再签下大规模现场发电订单并不容易。此外，这类大规模订单本身也受到政府能源部门的质疑。或许未来几年会新建更多大型电站，但近期在建项目不多。超过 3 GW 的电站大约需要五年时间建造，也就是说 2030 年前赶不上计划外的新项目。短期内，企业想扩大用电量只能更多依赖电网。 北弗吉尼亚是美国最大的数据中心枢纽，拥有近 300 个数据中心，峰值电力消耗可达 5 GW。其最大电力供应商 Dominion 预计，未来十五年内他们的负载将增长 4 倍，年增长率约 10%。以此推算，到 2030 年北弗吉尼亚数据中心枢纽的电力容量将增长到约 10 GW。美国最大能源公司 NextEra 的 CEO 最近表示，虽然为 5 GW 的 AI 数据中心选址很有挑战，但美国确实存在能支持 1 GW 设施的地点。这也印证了媒体报道：微软和 OpenAI 正在规划一个名为 Stargate 的 AI 数据中心园区，预计 2028 年就需要“数 GW 电力”，到 2030 年将进一步扩大到 5 GW。 --- ## **03 分布式训练，潜在的解决之道** **将 AI 训练分布到多个数据中心并行进行，可以有效规避本地电力限制。** 分布式训练把工作负载分散到多个地点，对于那些业务覆盖广、数据中心遍布各地的科技巨头尤其适用——比如 Google 在 15 个不同的美国州运营数据中心。这种方法通过接入更广泛的电力资源池，能够实现更大规模的训练。 分布式训练的可行性已有实践佐证：据报道，Google 的 Gemini Ultra 模型就是跨多个数据中心训练的。为了精确估算一个分布式数据中心网络能获取多少电力，我们需要明确两个关键指标：数据中心实际消耗的平均电量（考虑设备停机与负荷波动），以及额定峰值电力容量。我们估计，目前美国数据中心的平均电力消耗已超过 20 GW。Dominion 公司表示，其服务的数据中心平均使用率为总容量的 60%，这意味着美国数据中心的总电力容量大约在 33 到 50 GW 之间，我们取中间值约 40 GW。此外，根据 SemiAnalysis 的数据中心行业模型，到 2023 年底美国数据中心总容量约 36 GW，预计 2024 年底达到 48 GW，这与我们的估算吻合。 综合多方数据，保持至少 15% 的年增长率似乎是合理的。这意味着到 2030 年，美国数据中心的电力容量可能从 40 GW 增长到 90 GW。（这里的估算偏保守，因为我们使用了实际增长预测范围的下限。）目前，大多数数据中心电力用于非 AI 用途——互联网服务和云计算。但 AI 数据中心的电力份额正在上升。现有预测显示，非 AI 数据中心的年电力需求增长率约 8%–11%。如果按 8% 计算，到 2030 年非 AI 应用的需求将从现在的约 37 GW 增长到约 60 GW，留给 AI 业务的电力大约有 30 GW。我们估计，到 2030 年，分布式训练可以帮助美国最富有的 AI 公司协调出约 8 GW 的训练用电。这个数字是在综合考虑增长率和当前容量不确定性后得出的保守估计。这表明，分布式训练确实有潜力突破集中式训练的电力瓶颈，实现比单一园区大得多的训练规模。 ### **分布式训练的可行性** 从技术角度看，通过分布式训练减轻电力限制是可行的。AI 训练的基本结构天然适合地理分布：数据集被切分成多个 batch，模型权重的更新只在每个 batch 结束时发生一次。在分布式设置中，这些 batch 可以在不同地点处理，数据中心只需要在每个 batch 结束时同步并共享梯度更新。 分布式训练的主要挑战在于数据中心之间的通信延迟。如果美国的主要数据中心通过一条 11,000 公里的光纤环路连接，通信延迟大约 55 毫秒。同步操作需要一次网络往返，总共 110 毫秒。这个延迟在使用光纤通信时无法缩短。因此，如果一个训练过程持续 300 天，最多可以进行约 2.4 亿次梯度更新。我们不确定在不影响训练效果的前提下 batch 可以做到多大，但假设最大 batch 大小为 6000 万个 token（与传闻中 GPT-4 训练所用的最大 batch 相符），那么在训练期间可以处理约 1e^16 个 token，根据龙猫法则，这对应约 6e^31 FLOP 的训练运行。即使某些数据中心离得很远，延迟也不太可能成为限制因素。 除了延迟，带宽也是影响大规模分布式训练可行性的关键。目前的数据中心交换技术，例如 Marvell Teralynx 10，支持 128 个端口，每端口 400 Gbps，总带宽 51.2 Tbps。对于一个 16T 参数的模型，使用 8 位精度进行标准两阶段环形全归约操作传输梯度更新，每次传输需要 4.9 秒，加上每次全归约的 110 毫秒延迟，总时长约 5 秒。这个模型大小将最大化 300 天训练内可以完成的计算量——约 3e28 FLOP。但可实现的带宽可能远高于单台交换机的上限：首先，数据中心之间的链路可以由多个交换机和光纤组成，实现更大带宽。例如，Google Stargate 网络中每个节点有 32 个交换机管理外部流量，在环形全归约设置中，一个 32 交换机的数据中心可以专配 16 个交换机来管理与其两个邻居的连接。参照 Google B4 网络的经验，我们认为每个数据中心对配置 8 到 32 个交换机是可行的。其次，未来的交换机和收发器性能会更好。ASIC 交换机的带宽每年增长约 1.4 到 1.6 倍，这意味着到 2030 年可能出现带宽 380 到 850 Tbps 的以太网交换机。我们对 2030 年数据中心间可实现带宽的最终估计是 4 到 20 Pbps，这将允许 3e^29 到 2e^31 FLOP 的训练运行。鉴于此，与先解决电力供应问题相比，带宽不太可能成为分布式训练的主要限制——分布式训练总体上是可行的。 到 2030 年，依靠本地电力供应的训练任务可能需要 1 到 5 GW 的电力，并达到 1e^28 到 3e^29 FLOP 的计算量。同时，分布式训练任务可以汇聚 2 到 45 GW 的电力，并在数据中心间实现 4 到 20 Pbps 的连接，从而支撑 2e^28 到 2e^30 FLOP 的训练。综合来看，在 2030 年进行 2e^28 到 2e^30 FLOP 规模的训练是可行的，详见下图。 --- ## **04 GPU供不应求，芯片产能仍需提高** GPU 是训练 AI 模型的核心组件，对技术发展至关重要。近年来，GPU 集群的扩张是推动计算能力增长的主要动力——更高性能、更低延迟、更大显存的 GPU 让我们能训练规模更大的模型。因此，AI 的发展会受到 GPU 等芯片产能的制约。 通过分析半导体行业的数据，我们可以预测未来的 GPU 产量及其可能的限制因素，包括封装产能增长、晶圆产量增长以及制造设施投资。在足够的资金支持下，到 2030 年 GPU 的年产量预计将增长 30% 到 100%，这与 CoWoS 封装技术和 HBM 内存生产的增长率相吻合。我们预计未来有足够的生产能力制造出 1 亿个 H100 等效 GPU，以支撑高达 9e29 FLOP 的训练任务——当然，这些 GPU 会分配给多个 AI 实验室，部分还要用于模型部署和服务。 不过，这一预测存在很大的不确定性，主要是由于封装技术进步和 HBM 扩产的具体情况尚不明朗。我们的预测范围从 2000 万个到 4 亿个 H100 级别 GPU，对应的训练规模在 1e^29 到 5e^30 FLOP 之间，比 GPT-4 大 5000 到 250000 倍。这一预测的实现，取决于半导体行业在封装和内存生产方面的进步，以及芯片制造商能否跟上需求增长。 ### **当前产量和预测** 近年来，面向数据中心的 GPU 销售额增长迅猛。Nvidia 在 AI GPU 领域占据主导地位，据称 2023 年向数据中心共发货约 376 万台 GPU，相比 2022 年的 264 万台显著提升。截至 2023 年底，已有 65 万台 H100 被送往各大科技公司。对于 2024 年，预测显示发货量有望翻三倍，达到 150 万至 200 万台 H100。这样的数量足以支撑高达 6e^27 FLOP 的大规模训练。 但如果把目前每年 4 倍的计算训练趋势延续到 2030 年，届时需要约 2e^29 FLOP 的训练。要达到这种规模，可能需要近 2000 万个 H100 等效 GPU。假设一个 AI 实验室最多能拿到总产量的 20%，那么全球制造能力需要达到近 1 亿个 H100 等效 GPU。这个数字远远超出当前水平，意味着 GPU 生产规模必须大幅扩张。 台积电（TSMC）作为 Nvidia 的主要代工厂，面临着多重产能挑战。最紧迫的是芯片封装能力，尤其是台积电的 CoWoS 封装技术——这是 Nvidia 最新 GPU 的主要封装方式，能将逻辑单元与高带宽内存（HBM）结合，制造出即用型 AI 芯片。但这个封装过程难以快速扩大规模，因为它需要众多供应商提供的复杂设备，而且建设新设施还需要对员工进行专业培训。这些限制在一定程度上制约了台积电的 AI 芯片产量增速——即使 Nvidia 需求巨大。 为了突破这一瓶颈，台积电正在大力提升 CoWoS 封装能力，计划从 2023 年 12 月每月 1.4 万–1.5 万片晶圆提升至 2024 年底的每月 3.3 万–3.5 万片。此外，2023 年新开设的工厂每月能处理多达 8.3 万片晶圆，将使台积电的先进封装能力翻倍。台积电还宣布计划到 2026 年每年将封装能力提升 60%。如果这一趋势持续，**那么固定尺寸的芯片产量可能会以相似速度增长。** HBM 内存生产是另一个瓶颈。预计从 2023 年到 2024 年，HBM 的产量将增长 2 到 3 倍，但这种增长很大程度上来自从 DRAM 产能中重新分配，而非整体制造能力的提升。预计未来几年，HBM 生产和 CoWoS 封装能力将以相近速度增长，共同推动 GPU 产量提升。 尽管 GPU 产量大幅增长，晶圆生产本身不太可能成为主要限制。目前数据中心 GPU 在台积电总晶圆产量中占比很小。据估计，台积电 2024 年初 5nm 和 3nm 工艺节点的生产能力为每年 220 万片晶圆，而 2024 年生产的 200 万块 H100 仅消耗 5nm 节点容量的约 5%。即使考虑到预计的增长率，GPU 制造短期内也不会主导台积电的先进产能。相反，芯片封装和 HBM 生产才是扩大 GPU 产量的主要瓶颈。 AI GPU 制造最终很可能成为台积电未来的核心业务。苹果在 2023 年占据了台积电 3nm 产量的约 90%。鉴于 AI 芯片的高利润率，Nvidia 可能会出价超过苹果和高通等竞争对手，争夺台积电的先进晶圆产能。台积电预测，未来五年 AI 服务器需求将以年均 50% 的速度增长。考虑到台积电过去每年运营利润率提高 5 个百分点，且投资者预计这一趋势将因价格上涨而持续，我们估计 GPU 的实际销量年增长率约为 35%。这一预测相对保守：AMD 预计到 2027 年数据中心芯片年增长率达 70%，如果价格增长趋势类似，GPU 销量年增长率可能约为 60%。这些更激进的预测与我们之前讨论的 CoWoS 和 HBM 近期扩张计划非常吻合，增加了它们的可信度。综合这些预测，我们预计 GPU 芯片生产将以每年 30% 到 100% 的速度增长。 未来的晶圆产能完全可以支撑这种扩张。台积电的历史数据显示，从 2014 年到 2023 年，其资本支出年均增长 15%，晶圆产能年均增长 8%。台积电可能会增加用于 GPU 生产的资本支出，并大幅增加专门用于 GPU 的晶圆生产、封装等环节。如果台积电加快资本支出增长步伐，以匹配其预期的 AI 服务器市场 50% 的年增长率，那么根据输入与产出增长之间的历史关系，总晶圆产能可能每年增长 27%。这意味着先进晶圆生产的增长率在每年 5% 到 20% 之间。我们对当前先进晶圆生产的确切数字不太确定，估计月产量在 10 万到 33 万片之间。按 5%–20% 的年增长率计算，到 2030 年先进晶圆总产量将在 1000 万到 3700 万片之间。根据台积电和其他机构的预测，这些晶圆中约 20% 可能专门用于数据中心 GPU 生产。这些预测显示，到 2030 年全球将生产出相当于每年支持 2e^30 到 4e^31 FLOP 的 H100 存量（按存量计算）。 综合所有因素，理论上可能有约 1 亿个 H100 用于训练，支撑一个 9e^29 FLOP 的训练任务。但这个预测存在显著不确定性，我们的估计范围从 2000 万到 4 亿个 H100，对应 1e^29 到 5e^30 FLOP。另外，如果到 2030 年台积电的全部 5nm 及以下产能都专用于 GPU，而不分配给其他业务，那么潜在计算能力可能再增加一个数量级，达到 1e^30 到 2e^31 FLOP，如图 4 所示。 --- ## **05 文本语料将在五年内消耗殆尽** 扩大 AI 训练规模，另一个关键需求是获取更庞大的数据集。目前，研究机构主要依赖网络文本语料来支持训练。但每年新增的网络数据增长速度，根本跟不上训练数据需求的增长——单靠网络数据是远远不够的。 目前已知最大的训练数据集大约包含 1.5 万亿个 token。去重后约有 5000 万亿个 token，是已知最大训练数据集的 30 倍。如果只考虑像 CommonCrawl 这样已经整理好的语料库，这个数字可能低至 100 万亿；如果也包括私有数据，那么可能高达 3000 万亿。根据大模型扩展的龙猫法则，乐观估计计算量可达 8e28 FLOP。如果按照目前每年计算能力增长 4 倍的趋势继续下去，大约五年后我们就会面临文本语料的完全枯竭。 不过，其他类型的数据和合成数据可能会帮我们突破这一限制。多模态数据的有效数据存量可以达到 4500 万亿到 2300 万亿个 token，这将支撑 6e^28 到 2e^32 FLOP 规模的训练。此外，如果 AI 实验室投入大量计算资源到数据生成上，合成数据可能将训练规模推向更高。 --- ## **06 充满未知的救星：多模态数据** 图像、视频、语音等多模态数据是补充文本语料的重要途径。AI 实验室很可能会因此扩大视听数据的训练规模。强大的视觉能力可以让模型成为工作流程中的优秀助理——帮助组织信息或操作网络浏览器。而流利、快速、多语言的语音能力，可能极大改善个人语音助手、实时翻译和客户服务，带来比纯文本交互更流畅的体验。 目前，视觉模型的计算需求远低于语言模型，但如果文本数据成为瓶颈而图像数据充足，AI 实验室未来很可能会投入更多资源到图像模型上。像蛋白质序列或医疗数据这样的额外数据类型也很有价值，但这类数据的存量可能不足以显著增加可用的训练数据。 多模态数据还可以以多种方式帮助理解语言。例如，从音频、图像和视频中转录文本数据，可以增加与文本相关的数据存量。此外，非文本数据可能通过迁移学习或模态间的协同作用来提高语言能力——比如结合语音和文本数据可以提高性能，而且这种协同作用似乎随着规模增加而增强。然而，目前关于模态间迁移学习的研究还很不充分，还不能肯定多模态数据的迁移学习一定有效。 **那么有多少视觉数据可用于训练？** 互联网上大约有 10 万亿秒的视频，图像的数量也可能接近 10 万亿张。在这些模态和文本数据之间建立等价换算很有挑战。目前的多模态模型，如 Chameleon-34B，将图像编码为 1024 个 token，但我们预计随着技术进步，这个数字会减小——目前理论研究认为图像的最小编码在 22–32 个 token 之间。我们以这个数字作为中心估计，意味着图像和视频的多模态性可能使可用训练数据存量增加到约 4000 万亿 token。这表明图像和视频各自对扩展的贡献可能和文本一样多，从而使训练规模比仅用文本时大一个数量级。 此外，互联网上大约有 5000 亿到 1 万亿秒的公开可用音频，总存储可能在 5000 万亿到 1 万万亿 token 之间，与文本和图像的估计相差不远。在考虑了所有模态的估计，并考虑了数据总量、数据质量、训练周期数量和分词器效率的不确定性后，我们得出到 2030 年可用于训练的有效 token 在 400 万亿到 2 万万亿之间，这将允许进行 6e^28 到 2e^32 FLOP 的训练运行，见图 5。 ### **合成数据可行吗？** 合成数据能够极大地丰富训练数据资源。我们已经见证了一些不依赖人类数据而取得重大突破的例子：AlphaZero 和 AlphaProof 分别在游戏和几何问题解决上达到了甚至超越了人类专家的水平。此外，通过在合成数据上微调，语言模型在编程和逻辑推理任务上的性能得到了显著提升。即使是小型的语言模型，只要在精心策划的合成数据上训练，也能以更少的参数和数据达到与大型模型相当的性能。 合成数据之所以有如此潜力，一个关键原因是：验证一个输出的质量往往比生成它要简单。在那些可以明确设定正确性或质量标准的领域，这一点尤为明显。例如，在编程任务中，可以通过单元测试或样本输入来验证代码的正确性。在数学问题上，也容易发现并纠正逻辑或算术错误。利用这一优势，开发者可以用计算资源生成大量候选解决方案，然后系统地验证每个方案的准确性或质量，保留优质结果、淘汰不合格项。这种方法可以在计算上创造出充满高质量合成样本的数据集。对于这些任务，通过增加推理计算的投入，可以生成更高质量的输出。 “验证比生成容易”的原则可能不仅适用于编程，还适用于其他许多领域。例如，评审一篇研究论文的质量和创新性，通常比从头撰写一篇原创论文要简单。同样，评估一个故事的连贯性和可信度，也比从零开始创作一个引人入胜的故事要容易。在这些情况下，现代 AI 系统，特别是大型语言模型，已经展现出了与人类评审者相媲美的评估能力。这表明，AI 驱动的验证或许有助于在这些复杂领域创造出高质量的合成数据。 合成数据已经证明在那些验证简单明了的领域（如数学和编程）或收集高质量人类注释数据有挑战性的领域（如工具使用、长文本数据或偏好数据）非常有用。基于这些成功案例，我们认为未来在更多领域中生成高质量合成数据是可能的，尽管仍有未知因素。但如果有了合成数据的加持，数据可用性大概率不会成为 AI 扩展的制约因素。我们预计合成数据可能有助于克服数据瓶颈。然而，关于合成数据的研究还处于初期阶段，因此本文保守地依赖多模态数据的估计，排除了所有类型的合成数据。 --- ## **07 终极限制：延迟** 在 AI 的扩展过程中，延迟是一个不容忽视的制约因素。任何模型处理单个数据点都需要一定时间，而这个延迟会随着模型规模的增大而被放大。训练数据被划分为多个 batch，一次训练至少需要的时间，等于处理一个 batch 所需的时间乘以 batch 的总数。虽然 batch 中的数据能够并行处理，但 batch 的大小却存在上限。在训练周期有限的情况下，这种关系限制了模型的规模、可训练的数据量，以及训练运行的总体规模。 目前，这种限制对日常训练的影响并不显著——因为现在的模型规模还不够大，通常的延迟非常短暂。但随着模型规模持续扩大，延迟会持续增加，在大规模训练中可能成为一个重要问题。 为了缓解延迟，可以在一定范围内增加 batch size。一方面，这允许同时处理更多数据；另一方面，增大 batch 能提升随机梯度下降的收敛速度。然而，一旦超过“临界 batch size”，继续增加 batch 大小将导致每个 batch 的收益急剧减少。因此，不能无限制地扩大 batch size，更合理的做法是增加 batch 的数量，而不是单个 batch 里并行处理的 token 数量。 为了更具体地理解这一瓶颈的规模，我们对训练大型 transformer 模型时的延迟来源进行了研究。以 6000 万个 token 的 batch 大小（据推测这是 GPT-4 的 batch size）为例，我们预计训练运行的计算量将在 2e^30 到 2e^32 FLOP 之间，这将导致每层至少 270 到 400 微秒的通信延迟。然而，这可能还是保守估计——有研究表明，临界 batch size 可能会随着模型规模增长而扩大。如果 batch 大小可以按照模型规模的立方根比例扩展，那么我们估计大约 3e^30 到 1e^32 FLOP 规模的训练将是可行的。 ### **目前单节点内的延迟问题** 我们的分析先从单节点内的延迟入手，也就是与单个服务器（例如一台装载了多个 GPU 的机器）相关的处理延迟。在此背景下，有两种延迟尤为关键：内核延迟反映了单次矩阵乘法（matmul）计算所需的时间，而通信延迟衡量了不同 GPU 间传输结果所需的时长。基于常用的机器学习硬件，我们对这两种延迟进行了估算。 实验数据显示，A100 GPU 的内核延迟大约为 4.5 微秒。与此同时，在连接 8 个 GPU 的 NVLINK pod 内，完成一次全归约操作的通信延迟约为 9.2 微秒。因此，在一个 NVLINK pod 中，每次矩阵乘法操作的总延迟约为 13.7 微秒。 接下来，我们可以根据这个基础延迟来估算 Transformer 模型中每一层的延迟。一个标准的 decoder-only transformer 模型的每一层都包含四个连续的矩阵乘法操作，并且我们需要对每一层进行两次处理（前向和反向传播）。因此，每一层和每一批数据的最小延迟是单次矩阵乘法延迟的八倍，即 110 微秒。 要估算由延迟限制所允许的最大训练规模，我们需要对模型层数和训练数据量的扩展做一些假设。假设模型层数大致等于参数数量的立方根，且训练数据集的大小将与参数数量成比例增长（遵循龙猫法则）。具体来说，假设每层的最小延迟为 120 微秒，batch 大小为 6000 万个 token，那么可以推算：在九个月的训练周期内，可训练的最大模型规模为 7000 万亿参数，这能使龙猫最优模型达到 6e^31 FLOP 的计算量。需要注意的是，如果 Nvidia 集体通信库（NCCL）在处理中等大小消息时的全归约操作延迟比目前报道的要慢，这个估算可能过于乐观。 ### **未来多节点间的延迟计算** 张量并行通常完全在 8-GPU NVLINK pod 内进行，正是为了避免每次连续矩阵乘法操作中节点间通信。然而，未来持续的扩展将需要节点间的通信，这不可避免地会增加服务器之间的延迟。 根据目前标准的 InfiniBand 树型拓扑，节点间的延迟与通信节点数量成对数关系增长。使用 Nvidia 集体通信库（NCCL），一次全归约操作的最短时间为： 其中 N 是 NVLINK Pod 内的 GPU 数量，M 是参与的 NVLINK Pod 数量。对于使用二维张量并行的训练运行，pod 数量对应于协调二维张量并行计算的 GPU 数量。具体来说，每个 8-GPU pod 内平均有 2.75 个 GPU 在通信，总 pod 数即为：例如，使用 2000 路二维张量并行的 H100 集群将涉及 16 个 pods，导致 50 微秒的延迟。相比之前计算的每层 400 微秒延迟，这个集群大小允许在 9 个月内以 60M batch size 进行模型训练，达到 7e30 FLOP 的训练量。 ### **该如何减少这些延迟？** 为了显著降低通信延迟，我们可以通过优化网络拓扑结构来实现。例如，网状拓扑可以绕过节点间延迟的对数缩放，但这需要所有节点之间直接连接，实现起来复杂得多。另一种可能的解决方案是使用拥有更多 GPU 的大型服务器，以减少服务器间的通信延迟，或者采用更高效的通信协议。例如，为了训练 Llama 3.1，Meta 对 Nvidia 的 NCCL 进行了优化，开发了名为 NCCLX 的版本，它专门针对高延迟环境优化，据称可以在通信过程中减少数十微秒的延迟。 我们也可以考虑其他方法，比如增加 batch 大小或减少模型层数。OpenAI 此前的研究将临界 batch size 与梯度相对于训练数据的分散程度联系起来。基于此，研究人员预测 batch size 可能与模型损失的可减少部分成反比，按照龙猫法则，这大约与模型参数数量的立方根成正比。如果这一假设成立，它可能会令延迟减小一个数量级，具体见图 6。 目前，关于是否可以减少模型层数的研究还相对较少。一些研究表明，有可能在小幅牺牲性能的前提下，剪枝掉已训练好的变换器模型中多达一半的中间层。这表明在训练前减少一些层数可能是可行的，尽管还远未有定论，我们暂时不考虑这种可能性。 在综合考虑了各种不确定性之后，结论是：要实现超过 1e^32 FLOP 的扩展，将需要对网络拓扑进行调整，或者寻找其他解决方案。换句话说，由于延迟的存在，当前模型结构下训练规模的上限大约在 1e^32 FLOP 左右。 --- ## **08 哪个瓶颈限制最大？** 以上我们分别探讨了 AI 持续增长的四个主要瓶颈。**综合来看，到 2030 年实现高达 2e^29 FLOP 的训练运行是可行的。** 这意味着训练规模相对于当前 GPT-4 扩大了约 10,000 倍，如图 7 所示。 **在所有限制因素中，电力和芯片供应是最为紧迫的约束。** 在这两者中，电力问题最为紧迫，但从长期来看解决相对容易。能源行业比较分散但总体产能很大，而且有先例表明，**如果提前三到五年规划，供应商应该能执行 100 GW 级别的电力供应扩张。** 而扩大芯片制造则面临多重挑战：关键流程如先进封装技术的发展难以预测，建造新芯片厂需要大量资本投入和高度专业化的劳动力，整体芯片产能提升相对乏力。 **数据稀缺是最不确定的瓶颈，其不确定性范围跨越了四个数量级。** 我们对多模态数据的现有存量、质量以及图像标注方法效率的估计，都比基于文本的数据的估计要不确定。合成数据虽然有可能彻底解决数据稀缺问题，但其可用性和影响尚不明朗。 **最后，虽然通信延迟的限制是一个遥远的约束，但它是未来必须克服的障碍。** 通过采用更复杂的网络拓扑结构，可能会推迟这一障碍的到来。 ### **实验室真的会尝试增长到这种规模吗？** 根据本文推断，2030 年我们将能进行高达 2e^29 FLOP 的训练运行。达到这一规模符合历史趋势：迄今为止，最大规模的训练运行约为 5e^25 FLOP，按照每年 4 倍的历史增长率，六年后刚好将达到约 2e^29 FLOP。进行此类训练所需的价格将达到数千亿美元——AI 行业真的会寻求训练这种规模的模型吗？ 到目前为止，扩大 AI 模型的规模一直能够带来能力的提升。这培养了一种以规模扩展为中心的 AI 发展观，导致训练运行的支出每年增长约 2.5 倍。据报道，微软和 OpenAI 正在计划一个名为 Stargate 的数据中心项目，可能耗资高达 1000 亿美元，计划 2028 年启动。这表明主要科技公司确实准备实现规模的持续扩张。 GPT-4 之后更大规模模型的发展也能为企业带来非常可观的收益——GPT-5 在发布首年就可能创造超过 200 亿美元的收入。而且基础大模型的重大提升，使模型能够无缝融入现有工作流程，产品侧的发展也非常可观。这些进展进一步证明了 AI 系统的庞大潜在价值，其潜在回报是巨大的。所以经济体会很乐意投资数万亿美元来构建数据中心、半导体制造厂等基础设施。 标准经济模型预测，如果 AI 自动化能够替代大部分或全部人类劳动，经济增长可能会加速十倍或更多。在几十年内，这种增长可能会使经济产出增加数个数量级。鉴于这一潜力，尽早实现完全或近乎完全的自动化，可能价值全球产出的相当一部分。认识到这一巨大价值，投资者可能会将大量资本从传统领域转向 AI 开发及其基础设施建设。 --- ## **09 尽管充满变数，2030实现飞跃仍有可能** 本文通过对限制 AI 训练规模持续增长的关键制约因素进行分析，估算了到 2030 年 AI 训练运行的最大可行规模。我们探讨了四大瓶颈类别——电力限制、芯片产能、数据稀缺和延迟限制，并判断了这些因素在何种程度上限制更大规模的训练。主要发现是：根据当前趋势，到 2030 年实现高达 2e29 FLOP 的训练运行是可行的。换言之，到 2030 年，AI 实验室有望训练出一个能大幅超越 GPT-4 的模型，其程度之大，就像 GPT-4 超越 GPT-2 一样。 **第一个关键制约因素是电网很难提供足够电力。** 由于电网层面的限制、碳排放承诺和政&治因素，到 2030 年大幅度扩展数据中心的电力供应可能面临诸多挑战。 **第二个关键制约因素是芯片产能很难做到每年制造数千万片 H100 级别芯片。** 如果未来十年内资本支出没有显著增加，即使把可调用的产能全部集中于生产 GPU，也很难满足需求。 总体来看，这些限制条件虽然带来重重挑战，但仍允许 AI 实验室在 2030 年内继续以每年 4 倍的速度增长。如果 AI 这样的持续增长能够保持到 2030 年，那么 AI 可能会吸引数千亿级别的投资，成为人类历史上最宏大的技术项目。规模的扩大直接转化为更强的性能和更广泛的应用性，这预示着我们可能会在 2030 年左右见证 AI 再一次的重大进步。在我们的研究中，尽可能预测了 AI 技术发展轨迹时所面临的不确定性——电力限制和芯片产能主要限制了 AI 的未来发展，尽管如此，它们也是充满变数的领域。