合成数据成为7B模型具备强大数学能力的关键

近期一项研究《Common 7B Language Models Already Possess Strong Math Capabilities》带来一个意想不到的发现：即便是LLaMA-2 7B这样的小型语言模型，内部其实就已蕴藏着相当可观的数学能力。这个结论直接挑战了以往“小模型数学不行”的刻板印象，也给AI在数学领域的应用打开了新的突破口。不过，问题也随之而来——怎么稳定、高效地把这种潜能激发出来？答案的关键，落在了合成数据身上。这恰好与一部分人的担忧相反——有人觉得合成数据会让模型因低质量信息而“自我中毒”，甚至最终“崩溃”。但从这项研究的成果看，事实并非如此。

（论文来源：https://arxiv.org/pdf/2403.04706） 研究初期，团队发现增加监督式微调（SFT）数据的量，确实能让模型性能明显提升。但问题在于：高质量的真实数学问题实在太稀缺了，这成了继续进步的瓶颈。为了突破这个限制，他们把目光转向了一个新方向——利用GPT-4 Turbo API来生成高质量的合成数学问题。这个办法不仅解决了数据不够用的问题，也让大规模训练成为可能。 研究者设计了一套简单却高效的三步法来生产合成数据： 1. **生成新问题**：以参考问题为基础，让GPT-4 Turbo创造全新的数学题。这保证了题目的多样性和新颖性。 2. **验证问题**：通过尝试解答来确认和改进生成的问题。这一步确保了问题本身是合理、可解的。 3. **生成思维链答案**：为每个新问题创建详细的思维链（Chain of Thought, CoT）解答过程。这不仅给出了最终答案，还模拟了人类一步步思考的轨迹。 这种方法产出的数据，既有大量高质量的题目，又附带详细的解题过程，非常适合用来训练模型。更关键的是，实验结果显示，合成数据的训练效果几乎和真实数据不相上下： | 数据规模 | GSM8K-真实 | GSM8K-合成 | MATH-真实 | MATH-合成 | |--------|-----------|-----------|----------|----------| | 0.94K | 26.7 | 25.9 | 4.2 | 3.9 | | 1.88K | 32.8 | 31.9 | 5.6 | 4.9 | | 3.75K | 43.3 | 42.2 | 6.6 | 6.0 | | 7.50K | 50.2 | 49.5 | 8.4 | 7.9 | 这个对比说明，合成数据完全可以作为真实数据的有效替代，为大规模训练铺平了道路。 接下来，借助合成数据，研究团队将训练规模一下子提到前所未有的高度：GSM8K用到了960K样本，MATH用到了480K样本。训练结果相当振奋人心： - LLaMA-2 7B在GSM8K上达到82.6%准确率 - 在MATH上达到40.6%准确率 这些成绩不仅创造了新纪录，更是首次用标准7B规模的模型，同时突破了GSM8K的80%和MATH的40%准确率门槛。

研究发现：合成数据的主要作用在于提高稳定性

深入分析后可以看到，合成数据最关键的价值，不是让模型学会新知识，而是让模型在解答数学问题时变得更稳定。这恰好解决了小型模型在数学问题上表现飘忽不定这个老大难。与此同时，研究还发现，通过在合成数据中有意增加长链推理步骤的比例，模型在复杂问题上的表现会显著提升。这个发现为后续优化模型在高难度数学题上的能力，指明了方向。

未来展望：合成数据的无限可能

合成数据在激发小型语言模型数学潜能上的成功，给AI研究打开了很多新思路： 1. **扩展应用领域**：可以把合成数据的方法用到其他复杂推理任务上，比如科学问题求解、逻辑分析等。 2. **优化数据生成策略**：探索更先进的合成数据生成方法，进一步提高数据的质量和多样性。 3. **跨领域知识迁移**：研究如何利用合成数据，让模型在不同知识领域之间迁移能力。 4. **个性化学习助手**：基于合成数据开发个性化的AI学习助手，为不同层次的学习者提供定制化的数学辅导。 说到底，合成数据在这项研究中的成功，不只是一个技术上的突破，更是一次思维方式的革新。它告诉我们，有时解决问题的关键，不在于拥有更大的模型，也不在于堆更多的真实数据，而在于怎么创造性地把手头的资源用好。随着这一领域不断推进，我们有理由期待更多类似的尝试，去攻克高质量数据匮乏的难题，推动AI在更多领域发挥出更大价值。