学而思为什么从数学切入做大模型
4月27-28日，GET2024春季教育科技大会以“中行独复，教育重构科技”为主题在北京举行。在主论坛上，学而思技术总监、MathGPT负责人白锦峰分享了基于Verifier的九章大模型（MathGPT）在业务落地中的实际应用。这场分享从学而思为何选择数学切入大模型谈起，分析了通用模型与垂类模型各自面临的困境、MathGPT的训练过程，以及训练中遇到的具体难题。
白锦峰表示，学而思已经将K12全科的评估集合公开给业内，期望共同推动教育大模型的进步；同时相关数学论文也已发表，希望能促进教育技术的发展。
以下为演讲实录，经编辑整理：
今天分享的题目是《基于Verifier的九章大模型（MathGPT）业务落地应用》。Verifier直译过来是“验证器”。大模型普遍存在幻觉问题，当它应用于教育场景时，幻觉就成了核心卡点。要解决这个问题，引入Verifier是可行的路径之一。
国内外做大模型的机构非常多。如果留意各家大模型的切入点，会发现绝大多数都是从语言、对话起步。原因很明显：ChatGPT在语言对话上展现了惊人的天赋，大家自然追随。但我们另辟蹊径，从数学入手。大模型的中文名叫“九章大模型”，与《九章算术》同名，英文名MathGPT。
为什么是Math？
去年开始做MathGPT的时候，不少大模型领域的专家、学者和领导过来，第一个问题几乎都是：“为什么你们要做数学？大模型做数学这条路走得通吗？”这里正好做个回应。
首先，做数学的出发点是利他。
而且，数学是攻克大语言模型的天然好场景。ChatGPT火起来之前就有一篇论文指出，大模型具有所谓的“涌现能力”。什么叫涌现？举个例子：当模型在处理数学问题或是8位数加法时，一旦参数规模从百亿（10B）跨越到千亿（100B）以上，这项能力会突然显现——这就是涌现。
为什么大模型里会出现“涌现”这个词？因为任务已经复杂到无法单纯用传统的分析学或分析解构的视角去思考。涌现来自复杂科学，在技术领域并不常见，生命就是典型的复杂系统。要研究复杂科学的规律，实验素材的选择至关重要。孟德尔之所以能发现遗传三定律，关键就在于他选择了豌豆——豌豆“闭花传粉，自花授粉”在有性生殖物种里是一个非常特殊的存在。遗传的底层真相是父母基因的组合，它违反绝大部分人对遗传的直觉：遗传是“量子化”的，而不是连续的。
回到正题：数学是不是大模型研究里的“豌豆”？是不是那个好场景？
ChatGPT是通过预测下一个词来学习的。大模型目前唯一work的第一性原理就是：通过预测下一个词去Scale。在语言模型的视角下，这很合理。但放在数学视角下，还合理吗？
举个例子。高考会考填空题。如果让大模型也通过预测下一个词的方式去做高考填空题，显然有问题。为什么？因为即便是考上清华、北大或哈佛、耶鲁的学生，也不可能看完题目后直接填出答案。再聪明的人类，也需要详细的思考步骤才能解决问题。不是说前后词之间没有关系，而是不能直接预测出来。
另外，大语言模型主要靠抓取互联网语料进行预训练，之后再做微调。乍一听没问题，细想却发现一个隐患：它假设全部知识都已经线上化了。但互联网发展了20多年，仍有大量知识没有完成线上化。一旦没有完成这个过程，大模型就不可能学会。
还是以数学为例。有些知识没有线上化是因为太难，有些则是因为太容易。比如孩子会做大量的加减乘除算术题，但网上很难找到这些题目——因为这类题目在搜索、检索或信息获取的过程中不提供信息价值。然而大模型需要这些知识，孩子的练习也需要。因此必须补上。
接下来是第二个原因：
使命。
第三点是方法。
综上，数学是攻克大模型技术的好场景，也是学而思的立家之本、使命所在。AlphaGeometry的成功则进一步印证了潜力。
第二个问题：为什么要解决逻辑推理的思维能力和幻觉？因为无论是大模型还是人，整个学习过程都要经历四个阶段：
记忆、联想、推理和泛化
关键在于检验模型输出的观点。检验分两点：第一，为观点找到事实依据；第二，保证逻辑自洽。小孩子成长过程中也会经历一个“胡说八道”、幻觉很重的阶段，解决方法同样是为自己的观点找依据，同时让观点逻辑自洽。找依据需要Verifier，逻辑自洽则需要逻辑推理能力。
最后一个阶段是泛化。总体来看，大模型的泛化能力远差于人类。仍以数学为例：一个孩子即使考到清华、北大，总共做的题目最多也就10万道。而大模型训练了超过千万道题，是孩子的100倍，但能力可能差得多。核心原因在于大模型的举一反三能力弱太多。如果这个层面能突破，强人工智能就会到来。
目前，大模型已经解决了联想能力，下一步是如何把推理做好。完成前三步需要时间。
为什么是大模型？
人工智能发展了很多年，但直到大模型诞生后才让大家觉得“很厉害”。究竟厉害在什么地方？
核心1：从整合性到任务Scaling Law的“涌现”
- 任务与模型结构解绑是多任务整合的基础
- 单任务超越GPT4意义有限，大规模复杂任务的整合性才是大模型的真正价值
- 理想情况是多个任务具有协同与促进，下限是至少不冲突
核心2：从指令跟随准确率到自然语言编程
- 高准确率的指令跟随是自然语言编程的必要条件
为什么是大模型和教育？
《乔布斯传》中提到，乔布斯2011年与比尔·盖茨会面讨论教育和未来学校时，说了一个现象：21世纪以来，科技迅速发展几乎改变了所有领域，唯独在学校教育上，影响小得令人吃惊。
人类对两个方面不可或缺：物质方面是水和能量；信息方面，人类同样离不开信息。但教育在信息之上——我们希望教育具有获取知识和智慧的目的。然而21世纪绝大部分发展都集中在信息化、数字化上，基本没有触及知识和智慧。大模型通过大规模预训练，恰恰是从知识切入的，因此有希望对教育带来改变。
论“通用模型”和“垂类模型”
目前做模型的有两拨团队：通用模型和垂类模型。两者的差别是什么？
通用模型的困境：如何评估模型的性能
- 无论术语上如何强调“通用”，模型总是需要构建集合进行评估，而集合一定是总体的有偏采样
- 即使建立了无偏采样集合，只要根据评测结果指导模型优化，就是在偏向于你观测到的集合，潜台词就是在牺牲你没观测到的部分
垂类模型的困境：细分的边界如何确定
教育是一个垂类，还是文科、理科是一个垂类？作文算一个垂类吗？
总结一下：
- 数学是大模型能力提升的好场景
- 联想能力是当前生成式AI的核心优势，幻觉是优势的副作用
- 整合复杂任务、通过Prompt Engineering实现自然语言编程是大模型的核心
- 大模型有可能在知识获取上完成供给侧升级，让个性化教育成为可能
- 面向行业的垂类模型长期都会有价值
学而思去年5月正式启动大模型研发，8月24日发布内测版MathGPT官网，11月4日获批大模型牌照，今年2月在MathEval榜单的数学能力评测中登顶。
为什么是学而思来做？
常有人问：数学是好场景，学而思有志去做，曲线可能确实陡峭，但为什么不是别家？
原因在于学而思目前技术研发和教研人员超过3000人，研发投入也很高。只有大规模资源投入，才能保证产出。
如何通过大模型实现个性化教育？学而思采用大模型与检索增强生成（RAG）技术，让知识内容保持一致性。这个能力一边指向知识库解决幻觉问题，另一边是用户画像库解决个性化问题。
MathGPT的训练过程
MathGPT的训练包括预训练、有监督微调、强化学习三个阶段，其中强化学习最为关键。为什么数学的曲线会比较陡峭？因为大部分数学题都有答案，有答案就能做大规模的仿真，而仿真是做好强化学习的核心要素。
大模型学数学的方式和一个孩子很像：孩子先看大量数学书自学；老师讲解标准解题步骤；之后做多轮练习，老师批改反馈。对应这三个阶段，大模型先用海量讲义、题库和教辅进行预训练；再通过大量步骤清晰的解题数据进行有监督微调；最后用奖励模型给解题结果反馈。
MathGPT训练中的困难
刚刚说了很多好处，但MathGPT在训练中也有困难。目前，大模型掌握一条定律的方式只有通过大量例子让它自己“悟”出来。
以加法交换律 a+b = b+a 为例。告诉人类时，他能听懂。但告诉模型不行——需要举1+2=2+1、3+5=5+3，甚至A+C=C+A这样大规模的例子，模型才能悟出两个数字可以互换。目前模型无法直接接受概念（定律）的输入，只能通过一个个例子自己学会，这是大模型现存的瓶颈。
之前提到九章大模型在MathEval榜单（https://matheval.ai/）登顶，评估中的各类能力集合都有参考依据，整体排名第一。
如何解决幻觉？
看一道具体题目：王老师需要为40名学生购买足球，每个足球价格48元，还需支付运费，运费是每个足球价格的八分之一，王老师一共需要支付多少钱？
第一轮：式子列对了——48×40×1/8+48×40，但计算48×40算错了，得出2880。第二轮：让模型在犯错的那一步重新尝试，换成48×5+48×40=48×45，换了一种方式，做对了——因为先算40×1/8更简单。
所以，如何让大模型和人做得一样好？让大模型多做几遍，每做一遍都检查步骤。如果所有答案都一样，并且步骤也正确，就认为它大概率是对的。做N遍之后，幻觉问题得到大幅度缓解。
目前，学而思累计生产了600多万道题目，答案正确率达到96%，解析优良率达到95%。试题生成成本降为原来的十分之一。
只有供给侧效率提高，才能解决教育的个性化问题。
评估一个孩子难，评估一个模型同样难。学而思将K12全科的评估集合公开给业内，期待共同推动教育大模型的进步。同时，相关数学论文也已发表，希望能促进教育技术的发展。
-
- 关于宇宙的好的网名有哪些
- 角色扮演 | 1
- 网名