苹果没有发布7B小模型，而是发布了开源数据集测试平台DCLM

Abstract

语言模型的数据比较（DataComp for Language Models，简称DCLM）是一个专为控制数据集实验而设计的测试平台，目标很明确：推动语言模型性能的进一步提升。

作为DCLM的核心组件，我们发布了一个标准化的语料库——从Common Crawl中提取的240万亿个令牌，基于OpenLM框架的高效预训练配方，以及一套涵盖53项下游任务的广泛评估体系。参与DCLM基准测试的研究人员可以在4.12亿到70亿参数规模的模型上，自由尝试去重、过滤和数据混合等数据整理策略。

作为初始基线，我们进行了大量实验，发现基于模型的过滤是构建高质量训练集的关键。由此产生的数据集DCLM-BASELINE，仅用2.6万亿个训练令牌，就训练出了一个70亿参数的语言模型，其在MMLU上的5样本学习准确率达到64%。相比当前开放数据语言模型的最先进技术MAP-Neo，DCLM-BASELINE在MMLU上提升了6.6个百分点，而训练计算量却减少了40%。更令人印象深刻的是，这个基线模型在MMLU上的表现与Mistral-7B-v0.3（63%）和Llama 3 8B（66%）相当，并且在平均53项自然语言理解任务上也表现类似，但训练计算量仅为Llama 3 8B的六分之一。

这些结果有力地证明了数据集设计在训练语言模型中的关键作用，也为进一步研究数据整理提供了坚实的起点。DCLM基准测试、框架、模型和数据集均已公开发布在 https://datacomp.ai/dclm 上。

图1：改进训练集可以带来更便宜且性能更好的模型。利用DataComp-LM，我们开发了一个高质量的数据集DCLM-BASELINE，并用它来训练具有计算和性能之间最先进权衡的模型。我们在（左）CORE任务集和（右）MMLU 5样本学习上进行了比较。具体来说，DCLM-BASELINE（橙色）相对于封闭源模型（交叉）和其他开源数据集和模型（圆圈）表现出有利的性能。

1. 引言

大型训练数据集是近期语言模型革命的重要推手。随着训练最先进语言模型的成本不断攀升，研究人员不仅关注规模扩展，更开始将目光投向如何改进训练数据集本身，以期在广泛的下游任务中实现更高效的泛化。事实上，越来越多的提案涉及数据过滤、去除（近）重复项、寻找新数据来源、对数据点进行加权、生成合成数据等等。

这个新兴研究领域面临的一个关键挑战是缺乏受控的比较。虽然上述提案通常共用同一套评估数据集，但研究人员往往采用不同的架构、计算量或超参数来训练模型。因此，我们很难断定哪种数据整理策略真正有效：训练集A的结果优于训练集B，究竟是因为A本身更好，还是因为训练A的模型采用了更优的架构、学习率计划或更多的计算？要解开影响语言模型质量的众多因素，对于理解哪些数据整理策略最有效、最终构建更好的语言模型至关重要。

除了缺乏标准化基准之外，训练数据研究的另一个难题是：即便像Llama、Mistral或Gemma这样的开放权重模型，其训练集的细节也变得越来越不透明。对于所有这些模型，训练集并不公开，相应的模型文档充其量只提供对训练数据的粗略描述。因此，目前尚不清楚构成语言模型最先进训练集的具体成分是什么。

为了解决这些挑战，我们引入了用于语言模型的数据比较（DCLM）——这是第一个专门针对语言模型训练数据整理的基准。在DCLM中，研究人员提出新的训练集和数据整理算法，然后通过在他们的数据上训练语言模型来评估这些数据集的效果。通过测量生成的模型在下游任务上的表现，研究人员可以量化相应训练集的优势和劣势。

为了让DCLM成为现实，我们贡献了一个全面的实验测试平台。其中一个关键组成部分是DCLM-POOL，一个从Common Crawl中提取的240万亿个令牌的语料库，也是目前最大的公共语言模型训练语料库。它构成了DCLM过滤轨道的基石——参与者的目标是从DCLM-POOL中整理出尽可能完美的训练集。此外，我们还提供了开源软件，用于处理大型数据集并实现多种过滤方法。

训练语言模型的高昂成本使得我们必须了解不同计算和数据规模下训练配方的性能。因此，我们的第三个贡献是对数据集设计进行了扩展趋势的调查。研究发现，即使是参数量只有4亿的模型，仍然能提供关于哪些训练集在更大规模上表现更好的信号。基于这些实验，我们将DCLM组织成五个计算规模，覆盖从4亿参数模型到过度训练的70亿模型的范围，计算量跨度约600倍。这种多尺度设计让DCLM对拥有不同计算预算的研究人员都具有吸引力。

作为DCLM的起点，我们进行了416个基线实验，使用了不同的训练集和计算规模。实验确定基于模型的过滤是有效数据整理流程的关键组成部分。我们还发现，过滤模型的细节对性能有着巨大影响：在70亿参数规模（2800亿训练令牌）上，MMLU5-shot准确率从35%到44%不等，跨度惊人。有趣的是，一个简单的bigram分类器，结合精心挑选的正面和负面示例，在我们的实验分类器中表现最佳。此外，人类质量判断在识别高质量训练数据方面的价值似乎有限。

最后，我们将所有结果整合成了DCLM-BASELINE——一个全新的、最先进的公共训练集。当使用DCLM-BASELINE在2.6万亿个令牌上训练70亿参数的语言模型时，生成的模型在MMLU上达到了64%，这在开放数据模型中是最先进的，并且接近使用多达6.6倍更多计算训练的Mistral-7B v0.3（63%）或Llama 3 8B（66%）等模型。与Llama 2 7B相比，使用DCLM-BASELINE在280亿令牌上训练70亿参数模型，在MMLU上提高了5个百分点，同时计算量减少了7倍。由于我们的7B模型使用标准的仅解码器Transformer，这些结果还突显了系统化数据整理方法对于训练高性能语言模型的关键作用。

我们公开发布了DCLM框架、模型和训练集（https://datacomp.ai/dclm），旨在让其他研究人员都能参与DCLM，并加强以数据为中心的语言模型研究的经验基础。

2. 相关工作

本节总结与本文密切相关的工作，更多相关研究请参见附录B。

语言模型的数据整理

为了收集用于训练语言模型的大数据集，研究人员通常依赖于网络爬取。这些爬取数据中可能包含不良内容，可以通过整理来改进。大多数数据整理工作集中在提高模型性能的方法上，包括按语言过滤、基于启发式的过滤、质量过滤、数据去重和混合。虽然以往的研究只检查了有限的过滤器集合，但我们进行了最大规模的公开数据整理调查，最终诞生了强大的DCLM-BASELINE数据集。

开源数据集

随着过去几年语言模型规模的扩大，社区也整理出了更大规模的数据集。早期工作包括C4（160B个令牌）和The Pile（300B个令牌）。最近的RefinedWeb（600B个令牌）、Dolma（3T个令牌）、FineWeb（15T个令牌）和RedPajama-v2（30T个令牌）等。此外还有一些大型特定领域数据集，如专注于代码的StackV2（900B个令牌），以及像FineWeb-Edu这样高质量的过滤子集（1.3T个令牌）。我们在图1中包含了与各种数据集的性能比较，并在附录G中更详细地检查了FineWeb的LightEval评估框架。我们发布了迄今为止最大的原始文本数据池——包含240T网络爬取令牌的DCLM-POOL。同时我们还发布了DCLM-BASELINE，这是一个来自该池的高质量数据集，能训练出比以往数据集更出色的模型。

以数据为中心的基准测试

过去关于基准测试数据改进的工作包括数据集蒸馏、课程学习和迁移学习。在DataComp和DataPerf中，参与者在固定模型和训练配方的情况下迭代数据集，用于视觉、视觉-语言和语音任务。BabyLM挑战的Loose轨道则专注于在10M到100M个令牌上训练125M到220M参数的LM的高效开发。而凭借200TB的令牌池和7B模型，DCLM是第一个大规模以数据为中心的语言模型基准测试。

3. DataComp语言模型 (DCLM) 基准测试

本节描述DCLM的主要组成部分。首先介绍DCLM-POOL，即基准测试的基础原始文本语料库（第3.1节）。然后介绍DCLM工作流程，如图2所示：选择比赛规模（第3.2节），通过过滤DCLM-POOL并可能混合其他来源来策划数据集（第3.3节），使用固定的超参数训练模型（第3.4节），对模型进行评估以对数据集进行评分（第3.5节）。

3.1 DCLM-POOL

DCLM-POOL是一个未经处理的网络文本语料库，包含2023年之前的所有Common Crawl数据。根据第4.2节，我们使用resiliparse重新从HTML中提取文本，而非使用Common Crawl提供的预先提取文本。DCLM-POOL包含2000亿个文档（压缩后为3.7PB），相当于240T GPT-NeoX令牌。

表1: DCLM比赛规模。DCLM包含五个比赛规模，支持不同计算条件下的研究。每个规模指定了模型大小（“模型参数”，N）、训练期间看到的令牌数量（“训练令牌”，D）以及用于过滤的原始池大小。我们提供了使用OpenLM训练框架进行训练所需的计算量（“训练FLOPs”=6ND）和GPU小时数（“训练H100小时”）的估计。

净化

测试集样本经常污染语言模型训练集，但这些样本对下游性能的影响大多仍不清楚。为了让研究人员更好地理解污染的影响，我们发布了净化工具而不是直接净化DCLM-POOL。该工具基于Lee等人的方法，允许参与者检查他们的数据集是否与我们的测试集有重叠。我们要求所有提交披露净化报告，并避免使用高度污染的数据。对于得分最高的提交，我们将特别评估它们是否有污染。在第4.6节中，我们将该工具应用于DCLM-POOL，并评估污染是否影响我们的模型。

3.2 比赛规模：支持不同计算限制的参与者

为确保DCLM对拥有不同计算限制的研究人员具有吸引力，并促进扩展趋势的研究，我们创建了不同的比赛规模，跨越了三个数量级的计算量级（表1）。每个规模（如400M-1x, 1B-1x, 1B-5x, 7B-1x和7B-2x）指定了模型参数数量（如7B）和一个Chinchilla乘数（如1x）。每个规模的训练令牌数量为参数数量×Chinchilla乘数×20，这样1x乘数对应于Hoffmann等人发现的近优计算分配。

多尺度设计的一个潜在陷阱是：当计算规模增加时，数据整理方法的排名可能会改变。为了探究这个问题，在图3中，我们绘制了在7B-1x规模下10种方法的性能，将其表示为400M-1x和1B-1x性能的函数。结果发现，较小的400M-1x、1B-1x结果与较大的7B-1x结果之间的排名相关性很高（Pearson的r分别为0.885和0.919），这表明在较小规模上表现更好的整理策略可以转移至较大规模。更多关于比赛规模的分析（包括实验表明数据集改进在很大程度上与训练超参数正交）请参见附录H。

3.3 基准轨道：过滤和混合

选择规模后，参与者需要在两个轨道中选择一个。（i）在过滤轨道中，参与者提出算法从候选池中选择训练数据。我们从表1中每个规模开始，有五个池，这些是DCLM-POOL的随机文档子集。我们按规模限制初始池大小，以鼓励可扩展的过滤策略，并反映现实世界的数据下载和存储限制。（ii）在混合轨道中，提交结合了来自多个来源的文档。例如，参与者可以从DCLM-POOL、自定义爬取、Stack Overflow和Wikipedia合成文档。附录C提供了每个轨道的详细规则，附录D描述了我们用于执行过滤和混合操作的开源、可扩展工具。

3.4 训练

为隔离数据集干预的效果，我们在每个规模上固定了一个训练配方。基于先前对模型架构和训练的消融，我们采用了仅解码器的Transformer（例如GPT-2, Llama），由OpenLM实现。我们还提供了统一的数据处理工具。附录F包含额外的训练细节。

3.5 评估

我们的完整评估套件基于LLM-Foundry，包含53个适用于基础模型评估（即无需微调）的下游任务：从问答到开放式生成格式，涵盖了编码、教科书知识、常识推理等不同领域。为评估数据整理算法，我们关注三个主要性能指标。首先，MMLU5-shot准确率，广泛用于比较GPT-4和Llama 3 70B等最先进模型。其次，CORE中心准确率，它在22个任务（如HellaSwag和ARC-E）的子集上计算，即便在小规模上也能提供低方差信号，线性重新调整每个任务的准确率，使得0对应随机猜测，1对应完美准确率。最后，我们报告扩展的中心准确率，平均了所有53个任务的中心性能。更多指标细节参见附录G。

4. 利用DCLM构建高质量的训练数据集

现在我们来展示DCLM工作流程如何带来高质量的数据集，并量化数据整理方法的效果。本节描述了将Common Crawl转换为DCLM-BASELINE数据集的全过程（如图4所示），并为每一步提供了消融实验。首先评估了一些知名开源数据集（第4.1节）。接下来尝试了数据集构建几个关键阶段的替代方案：文本提取（第4.2节）、去重（第4.3节）和基于模型的过滤（第4.4节）。然后实验了混合高质量来源（第4.5节），并提供了污染分析（第4.6节）。在第5节中，我们将这种方法扩展到训练一个7B模型，使用2T个令牌。

4.1 评估现有的训练数据集

我们首先评估了几个知名的开源数据集（C4、RefinedWeb、RedPajama和Dolma-V1），如表2所示。尽管四个数据集都使用了各种启发式过滤器和数据清理步骤，我们发现RefinedWeb在我们7B-1x规模的CORE和EXTENDED指标上表现最佳。RefinedWeb应用了以下过滤流程：Common Crawl文本提取、启发式选择规则（例如去除垃圾邮件）和重复内容的去重。有趣的是，RefinedWeb仅从Common Crawl过滤，而RedPajama和Dolma-V1还混合了像Wikipedia这样的“高质量”来源。这种比较表明过滤的相对优势，我们在后续实验中进一步探索了这一点。

对于DCLM-BASELINE和其他实验，我们采用了RefinedWeb的启发式过滤器。

4.2 文本提取

文本提取是常见的早期处理步骤，它从原始HTML中提取内容。为了理解这一步的影响，我们比较了三种文本提取方法：resiliparse、trafilatura（RefinedWeb使用的）和Common Crawl提供的包含预先提取文本的WET文件。然后我们对每种文本提取应用了RefinedWeb的启发式质量过滤器。在表3中，我们发现resiliparse和trafilatura都至少比WET提取提高了2.5个CORE点。这很重要，因为包括C4、RedPajama和Dolma-V1在内的大多数开源数据集都使用WET提取，这可能部分解释了它们在表2中表现不佳的原因。虽然resiliparse和trafilatura在下游性能上相似，但resiliparse运行速度更快，因此在大规模处理中更实用。更多分析参见附录J。

对于DCLM-POOL和其余实验，我们使用resiliparse进行文本提取。

表2：与现有数据集的比较（7B-1x规模）。尽管没有混合高质量来源，RefinedWeb表现最佳。

表3：文本提取器比较（1B-1x规模）。我们应用了三种从HTML提取文本的方法，使用RefinedWeb启发式质量过滤器处理它们的输出，并评估了在所得数据集上训练的模型的质量。我们发现像resiliparse和trafilatura这样的更严格的提取器优于Common Crawl提供的WET文件。

4.3 去重

网络爬取的数据集通常包含许多重复或近乎重复的数据字符串。从训练集中移除这些重复项可以提高性能、减少记忆并增加数据多样性。对于去重，我们探索了MinHash（作为后缀数组流水线的一部分）和近重复Bloom过滤（修改了确切文档和段落去重方案）。结果发现两种方法在下游性能上是可比的：在7B-2x规模上，CORE百分点差异在0.2以内。然而，我们修改的Bloom过滤器方法更容易扩展到超过10TB的数据集。附录K中提供了更多分析。

我们对DCLM-BASELINE使用Bloom过滤器进行去重，对其他实验使用MinHash。

4.4 基于模型的质量过滤

近期文献表明，使用可学习模型作为质量过滤器可以带来下游改进。在本节中，我们研究基于模型的过滤。

比较基于模型的过滤方法

我们比较了许多策略：1）PageRank分数过滤，根据文档被其他文档链接的可能性保留文档；2）Semantic Deduplication (SemDedup) 去除具有相似信息内容的文档；3）拟合在预训练BGE文本嵌入上的线性分类器；4）AskLLM，提示语言模型查看文档是否有帮助；5）困惑度过滤，保留低困惑度序列（遵循CCNet）；6）Top-k平均逻辑，平均一个文档中所有词的顶部k个模型逻辑，以评分模型对正确词在k个合理选择中的置信度；7）fastText二元分类器来区分数据质量。对于训练分类器，我们在大约40万个文档上进行训练，这些文档平均分为正面和负面类别。我们尝试了不同的正面数据选项，并固定负面数据为来自RefinedWeb的样本。对于困惑度过滤和顶部k平均逻辑策略，我们使用了在英文维基百科、RedPajama v1的书籍子集和peS2o的混合上训练的154M参数因果Transformer。我们在表4中比较了上述方法，发现基于fastText的过滤优于所有其他方法。接下来，我们旨在了解fastText训练配方如何影响其作为数据过滤网络的有效性。

文本分类器消融

为了更好地理解fastText的局限性，我们训练了几个变体，探索了不同的参考数据（即给出正面标签的示例）、特征空间和过滤阈值的选择，如表5所示。对于参考正面数据，我们考虑了像维基百科、OpenWebText2和RedPajama-books这样的常用来源（GPT-3使用的参考数据）。我们还尝试了一种新方法，使用指令格式的数据，从OpenHermes 2.5（OH-2.5）和r/ExplainLikeImFive (ELI5) subreddit中的高分帖子中提取示例。总的来说，我们发现，控制其他超参数时，fastText OH2.5 +ELI5方法在CORE上提高了3.5个百分点，与常规选择相比。自然而然，人们会问，使用OH-2.5数据进行过滤是否会排除额外的指令调整增益。在附录P中，我们展示了这种情况并不存在，进一步表明这种方法的优势和与现代微调范式的兼容性。最后，我们观察到使用相当严格的阈值（保留顶部10%的示例）比更宽松的顶部15%和20%阈值更有帮助。附录M中进一步研究了数据集过滤的反直觉行为及其与人类判断的联系。

表5：fastText消融（7B-1x规模）。我们在正面数据（顶部）和阈值（底部）上消融选择。“数据集”是fastText的正面集合，而负面数据则是从RefinedWeb中随机采样的。“阈值”是基于fastText得分用于过滤的百分比。

对于DCLM-BASELINE和其余实验，我们使用fastText OH-2.5 + ELI5分类器得分保留顶部10%的文档。这个过滤的结果就是DCLM-BASELINE。

4.5 数据集混合

研究人员经常将Common Crawl（CC）与其他高质量数据源（如Wikipedia、arXiv、Stack exchange和peS2o）结合起来。由于DCLM参与者可以在自带数据轨道中包括其他数据源，我们检查了将高质量来源添加到仅来自Common Crawl的训练集中的潜在好处。我们将100%过滤过的CC数据上训练的模型与使用Llama 1和RedPajama的混合比例训练的模型进行比较：67% CC和33%来自Wikipedia、Books、Stack exchange、arXiv和Github。对于CC组件，我们考虑了不同的变体：DCLM-BASELINE的一个子集、RedPajama的CC部分、RefinedWeb和C4。表6中的结果显示，混合对表现较差的CC子集（C4、RedPajama-CC和RefinedWeb）提高了性能。然而，在DCLM-BASELINE的情况下，混合实际上平均降低了性能，这表明如果过滤足够有效，混合可能适得其反。更多混合结果参见附录L。

表6：将高质量来源与Common Crawl的子集混合（1B-1x规模）。我们评估了将高质量来源（“RPJ extras”）混合到各种源自Common Crawl的数据集上的影响，使用的是Llama和RedPajama的混合比例。括号内的数字表示由于混合而导致的性能提升/降低，与仅使用基础数据集相比。

4.6 净化

这里我们执行分析，检查预训练数据是否与我们的评估集有重叠，以及这是否影响我们的结果。我们专注于MMLU作为评估集，因为它是衡量这种规模语言模型性能的流行指标。

作为一个实验，我们还尝试检测并移除DCLM-BASELINE中存在的MMLU问题。策略是标记包含MMLU问题最后一个句子以及其中一个对应选项的训练文档。对于被标记的示例，移除所有匹配的问题和选项字符串。为了提高召回率，我们只检测每个问题的最后一个句子，减少因格式差异而错过问题的机会。基于检查，这也会产生许多误报。然后我们在没有检测到的MMLU重叠的情况下，训练了一个7B-2x模型。

分析结果可以在表7中看到。我们发现，移除受污染的样本并没有导致模型性能下降。因此，MMLU中的性能提升并非源于数据集中MMLU的增加。

表7：MMLU重叠移除结果。我们移除了与MMLU检测到的重叠，在检测到问题及其一个选项在文本中的案例中。我们比较了在有和没有移除这些数据的情况下训练的模型的性能，并没有发现增加的污染会带来好处。这个实验是在7B-2x规模上完成的。

我们还对Dolma-V1.7和FineWeb-Edu应用了上述移除策略，以衡量DCLM-BASELINE与其他数据集之间的污染差异。结果见表8。我们发现，根据这种分析，我们的DCLM-BASELINE大致与其他高性能数据集的污染统计数据相似。

表8：MMLU重叠移除比较。我们移除了与MMLU检测到的重叠，在检测到问题及其一个选项在文本中的案例中。对于Dolma-V1.7，我们对数据集的1/10进行了此分析（约230B个令牌）。对于FineWeb-Edu，使用了作者发布的10B个令牌的子集。请注意，因为我们的标记规则优先考虑召回率而不是精确度，这些数字可能是真实污染率的高估。

我们对DCLM-BASELINE使用Bloom过滤器进行去重，对其他实验使用MinHash。

5. 将DCLM-BASELINE扩展到万亿令牌规模

这里我们测试在DCLM基准测试上表现良好的数据集是否也能在计算量增加一个数量级时保持其优势。为确保我们训练的模型具有广泛的适用性（包括数学和编码任务），我们将3.8T的DCLM-BASELINE与StarCoder和ProofPile2的数据结合起来，形成4.1T令牌的数据集。在该数据集上使用与最大比赛规模相同的超参数训练一个7B模型，2.5T令牌，除了在200B和270B令牌时有两个独立的冷却阶段，使用修改后的分布：70%是DCLM-BASELINE（使用更严格的fastText阈值），30%是数学数据集（详情见附录P）。然后采用这两种独立冷却阶段的“模型汤”。接着采用Pouransari等人的持续预训练方法，在相同的分布上对100B令牌进行预训练，将上下文长度从2048增加到8192。附录P.2中提供了此过程的更多细节。

在表9中，我们展示了模型在所有使用公共训练集训练的7B模型中表现优于其他，并接近像Llama-8B、Mistral-7B和Gemma-7B这样为更多令牌训练的封闭数据模型。此外，在附录O中，我们展示了模型在公开可用的IT数据集上进行指令调整后，保持了大部分基准性能，并实现了16.6的AlpacaEval2.0 LC胜率，超过了Gemma-Instruct（10.4），同时接近于Mistral-v0.2-7B（17.1）和Llama3-Instruct（22.9）的强性能。

6. 结论与局限性

我们介绍了DCLM测试平台，并展示了它如何带来新的最先进训练集。对数据集设计空间的探索只是一个开始，并且有明显的局限性。由于计算限制，我们只能单独地消融设计维度，并不能在更大的规模上测试所有方法。此外，还有许多我们没有探索的DCLM-BASELINE变体。例如，更详细地了解分片去重的影响很重要，还有更多关于训练过滤模型的方法（无论是架构还是训练数据）。我们还主要使用了一个分词器（GPT-NeoX），其他的分词器可能在多语言任务或数学上表现更好。另一个局限性是我们没有充分探索不同随机种子带来的运行间变化。尽管如此，我们希望这篇论文能够成为进一步研究数据整理的起点，推动DCLM-BASELINE之外的最先进水平。

虽然我们在DCLM-BASELINE上训练的模型在常见的语言理解评估中具有竞争力，但它们目前在代码和数学方面的表现并不那么出色。我们认为这主要是由于DCLM的第一个版本主要关注语言理解，而非基准测试或DCLM-BASELINE训练集的固有局限性。事实上，先前的研究已经表明，添加特定的训练数据和针对代码和数学的后训练方法可以显著提高这些领域的表现。将DCLM-BASELINE与这些特定领域的训练集结合起来，并将DCLM扩展到覆盖代码和数学是未来工作有希望的方向。

我们的评估套件目前还没有包含其他重要的性能维度，例如公平性、多语言性和安全性。同样，在DCLM的背景下研究毒性或隐私过滤也将是有益的。将DCLM沿着这些维度扩展是未来工作的一个有希望的方向，我们希望开放和可访问的测试平台也能加强以数据为中心的研究在这些方向上的基础。

最后，我们只训练了7B参数的模型作为DCLM的一部分。相比之下，最先进的语言模型现在要大得多。虽然我们乐观地认为我们的增益也将扩展到更大的模型规模，但未来的工作仍需要通过实验来测试这一点。DCLM-BASELINE背后的方法可能的一个局限性是其严格的过滤比例。在文档级别进行精确的全局去重后，DCLM-BASELINE大约包含2T个令牌，在去除所有近重复项后，大约剩下1T个令牌。理解数据质量、过滤比例、去重和多周期训练之间的相互作用将是未来构建更大规模训练集的关键。