五步走，构建领域大模型

领域大模型如今已成为大模型发展的必然方向，这基本是行业共识了。对于企业来说，基于领域数据的标注和模型微调，才是真正能落地的重中之重。目前公认的模式是：大公司提供基础大模型，细分领域的公司则挑选一个最契合自身业务需求的基础模型，在此基础上进行微调，从而精确解决领域内的具体任务。

具体到落地步骤，可以拆解为五个关键环节：

。下面逐一展开。

选型不是拍脑袋，得建立一套量化的指标体系。比如准确率、召回率、安全性、可解释性、稳定性、成本等等，通过数据对比多个大模型，才能选出最合适的。以

在研发场景下的选型思路为例，他们考虑了三点：

太大则精调和部署成本飙升，太小则能力不足，100亿到500亿参数这个区间比较适中。

优先选基础能力强的，而不是精调后能力强的。目前像Code LLaMA（34B）和Starcoder（15B）表现不错。

如果用于研发场景，需要在编程类评估中各类语言得分越高越好，比如HumanEval、Babecode这些指标。

这一步收集领域内的专家知识，整理标注公司业务系统的数据，然后进行预处理——清洗、分词、标记化等，让数据就绪，便于训练和微调。在数据构造上，常借助第三方大模型的方法，比如Self-Instruct、Self-QA、Self-KG等。从人工智能训练三要素来看，中国企业当前存在客观约束：算法难度相对较低，有大量开源可参考；算力方面，虽然受美国出口限制影响，但企业仍可利用已有的高性能GPU或性能有所妥协的芯片来替代；最难的其实是数据——高质量领域数据获取困难，靠构建方法未必能得到满意的结果。这一点，可以说是构建过程中的核心瓶颈。

确定微调方案后，用领域相关数据对模型进行微调。常见的微调方式包括：

• 预训练：引入大规模领域数据和通用数据，对模型的全部参数重新训练；

• 监督微调：引入领域数据进行微调训练，是目前行业内最主流的方式；

• 奖励模型训练+强化学习训练：引入人工对每个微调数据的评分，让模型更接近人类喜欢的答案；再用训练好的监督微调模型和奖励模型进行强化学习训练，使模型在垂直领域的效果进一步提升。

用领域内的标准评估指标来衡量模型性能，同时根据领域专家的反馈不断改进模型质量。迭代是必然的，很少有模型一次就达到理想状态。

当模型在特定领域内达到目标性能后，就可以部署到生产环境中，并在线上持续监控模型表现。毕竟，模型上线后也可能出现退化，需要随时关注。