垂直领域大模型微调实践经验最全总结

垂直领域大模型微调，说到底是件挺考验人经验的事情。从基座模型怎么选，到数据怎么搓、怎么训，每一步都有门道。本篇文章把现有垂类大模型微调已公布的一些实践经验做了个全面梳理，大部分是实测可推广的，大家在自己动手的时候可以参考。

大致拆解下来，核心环节包括四个：基座模型选择、模型整体架构、数据设计、训练微调。其中数据设计和训练微调这两块，是真正出效果的重头戏，值得多花些功夫琢磨。

基座模型选择

一个比较稳妥的选择是BLOOMZ模型。这个模型系列在训练时用了PILE语料库，里面包含了大量医学文本，像PubMed Central和PubMed Abstracts这些都有。所以BLOOMZ的医学知识储备相对丰富，拿来当医学垂类微调的起点，先天底子就好一些。

模型整体架构

更合理的做法，是实时更新的。这种组合架构，像ChatLaw那种项目就已经在用了。

这与其说是个体经验，不如说已经被不少案例佐证过了。

数据设计

有研究直接拿200条高质量数据微调，效果竟然超过用海量数据的模型。而且，超大规模的SFT数据反而会让下游任务的LLM减弱甚至丢失ICL（上下文学习）、CoT（思维链）这类能力。所以说，宁少勿滥。

算力充足的情况下，推荐用医疗数据+通用语料数据一起练。这样模型既能在医学任务上训练，又能保持通用能力，比如指令遵循。

这里有两个点需要注意：
（1）语言模型训练完，它参数里各个区域负责的功能基本定下来了。如果突然塞进大量预训练时没有的新知识，会造成参数剧烈变动，导致整个模型能力受损。
（2）真要搞大规模二次预训练，建议加5-10倍于原始预训练的数据，并且打混在一起再练。

（1）预训练数据中哪怕出现少量连续的噪音数据，比如连续重复的单词、非单词序列，都可能让模型在特定维度上发生偏移，整个PPL（困惑度）就会剧烈波动。
（2）有监督微调的指令里如果包含大量与原有模型不匹配的指令片段，同样可能带偏模型表现，导致整体性能滑坡。

所以混合不同领域的微调数据，必须讲究技巧。翻译过来就是一句话：

反复吃同一锅菜，过拟合是大概率事件，训练结果反而会恶化。

想解决这个问题，要么数据源够多样，要么考虑LoRA以外的微调技术。

训练微调

但在多数应用场景下，做到监督微调这一步就能满足需求了。

一个比较被认可的公式是：。

（1）少量数据反复epoch训练，可能导致语言核心区域变化，模型直接失效。
（2）要是为了某一特定任务提升而做指令微调，为了保护模型语言关键区，必须同时加入通用指令微调数据或预训练数据。

有研究表明，LoRA的最终表现比全参数微调要低4-6%。

如果硬件条件不够，就用P-tuning——总之，动的参数越多，效果通常越好。而13B及以上参数的模型，可以用LoRA、QLoRA这类方法。

而不仅仅是Key和Value矩阵。这样才能最大限度释放模型性能。

但多轮训练的结果其实相当一致，这点不用太担心。

它用运行时间增长39%的代价，换来了33%的内存节省。

AdamW、带scheduler的SGD还是带scheduler的AdamW，对最终结果的影响微乎其微。

但实际上并不显著影响LLM的峰值内存——大部分内存都被大矩阵乘法吃掉了，额外的参数占比很小。

一个实用的做法是：把α设成rank值的两倍。