悟道-智源“悟道”大模型

2021年6月，北京智源研究院（BAAI）发布了悟道1.0的升级版本——悟道2.0。这个版本被定位为中国首个超大规模智能模型系统，其目标直指在人类级别的思维任务上，超越当时业界瞩目的OpenAI GPT-3和谷歌LaMDA。经过海量数据的锤炼，悟道2.0在九个关键基准测试中都达到了业界领先水平，这使其在通往通用人工智能的道路上，迈出了坚实的一步。

那么，它的底气从何而来？核心在于其训练数据的规模与质量。悟道模型总计接受了高达4.9TB的高质量图像与文本数据训练，具体构成如下：

• 1.2TB中文文本数据
• 2.5TB中文图像数据
• 1.2TB英文文本数据

在技术架构上，悟道选择了基于开源FastMoE系统进行训练。这里简单解释一下MoE（混合专家模型）的工作原理：它首先将复杂的预测任务拆解成多个子任务，并为每个子任务训练一个专门的“专家”模型。同时，系统会配备一个“门控”模型，其职责是根据输入内容的特点，智能地决定应该咨询哪位或哪几位专家。最后，系统将这些专家的意见进行整合，得出最终预测。FastMoE的优势在于其高效的并行能力，使得悟道能够同时调动多个专家模型，并快速切换到预测效果最佳的路径上。举个例子，当输入一段英文文本时，门控系统就会自动调用最擅长处理英文的预测模型来生成回应。

如需了解更多官方信息，可访问北京智源研究院的相关介绍页面。