大模型微调炼丹心得十问

大模型微调，或者说“炼丹”，这几年算是把AI落地这件事的门槛往下拉了一大截。但真上手跑过几个任务的人都知道，理想很丰满，现实里全是坑。今天不聊虚的，直接聊十个最常被问到、也最容易让人翻车的问题。内容都是实操里砸出来的体会，希望能帮你少走几步弯路。

Q1: 超参数如何设定？

这个问题问得最多，但答案其实没那么玄乎。如果任务相对简单，rank设定为16、alpha设定为32就足够了。Lightning AI曾经专门分享过一篇关于LoRA参数设定的技术文章，里面有不少实验数据可以参考。简单来说，大部分场景下，这个组合就是一个很稳妥的起点。

Finetuning LLMs with LoRA and QLoRA: Insights from Hundreds of Experiments

Q2: SFT微调需要多少数据？

这完全取决于任务难度。听起来像是废话？那我们说得具体一点。任务难度可以通过模型计算出的困惑度来衡量，你可以拿新任务跟一些常见任务做对比，自己摸索出一个可接受的阈值。这是定量分析。

定性来看就更直观了：如果只靠提示词就能解决的问题，难度很低；如果提示词解决不了，那就要看模型本身有没有相关的先验知识。一般难度的任务，100到300条高质量数据就够用了；中等和困难的任务，通常需要1000条以上。这个“以上”可能到3000、8000、1万，甚至10万加。至于任务难度和数据量之间有没有严格的定量关系，如果你的算力够用，又想做点研究写写论文，不妨去探索一下如何定义任务难度指标，以及它和特定模型所需SFT数据量之间到底是什么关系。也许已经有论文了，只是我没注意到。

Q3: 学习率如何调整？

LoRA微调时，把学习率设为1e-4是一个常见的做法。但真正的调整策略还是要看loss曲线的表现。如果曲线震荡比较大，就试着调低一点；如果收敛速度太慢，就适当调高。这个“酌情”本质上就是根据任务特性跟着loss走。

Q4: 总是学不会，怎么办？

如果你已经调了各种超参数，效果还是不行，第一个要反思的不是模型，而是你的数据集。检查一下：你的数据集和你想学到的能力匹配吗？你写的指令对模型而言是否友好（困惑度低）？数据是否存在不平衡？没错，在大模型时代，数据平衡依然很重要。

很多人误以为只要业务场景数据够多，就是高质量数据集。其实最后一公里，是制作出对模型友好的数据集——让模型能快速学会。这就像找一个好老师，一点就通；反之，老师再努力，学生也学不会。

Q5: 听说SFT微调得越多，遗忘得越多

是的，这个现象确实存在。但如果任务本身比较简单，并且你用的rank比较低（比如8或16），影响其实是有限的，很少会出现明显的掉点情况。如果真的担心遗忘，可以混入一些你想要保留的原子能力的数据进去，效果会比较理想。

Q6: 如何才能一次性微调，让模型学会多个能力？

这是可以的。关键点在于数据之间的相关性和比例。你得确保你的数据集是一个“好老师”——既要覆盖多个能力，又不能相互冲突。另外，多阶段SFT也是一个备选方案，可以先学一个能力，再学另一个。

Q7: 微调需要很久吗？需要多少GPU？普通企业能不能玩？

Qlora微调7b模型，对硬件的要求其实很亲民。一台12G显存的GPU就能跑，中等规模的任务一般30分钟到2小时就能完成。现在的市场行情，像4090这样的显卡租赁价格也就2元/小时左右，硬性成本并不高。

真正贵的是高质量数据集的构建成本和能做微调的人。甚至有人开玩笑说，失业了就去卖高质量数据集，广告词都想好了：“买我的数据集，微调一小时，能力全都有！省心省力，按能力大小和数据制作成本收费。”

Q8: 除了SFT微调，还能做其他微调吗？

当然。很多人知道RLHF，但成本太高。而DPO和ORPO这类偏好微调，成本就低得多了，尤其是ORPO，成本几乎和SFT一样。唯一的不同是，你需要构建偏好对数据集。偏好微调有一个重要的优势：它能有效克服遗忘问题。SFT是参数调得越多，遗忘越大；如果希望保留模型的通用能力，偏好微调是比指令微调更好的选择。缺点就是高质量偏好对数据集的制作成本比较高。

Q9: 微调用什么框架？

这个问题要看你的角色定位。如果你是大神，可以自己手搓Trainer；如果你是高手，对模型也比较懂，可以自己写PEFT或TRL的Trainer；如果你专门做落地应用，没时间手搓代码，那可以直接用LLaMA-Factory、阿里的Swift、书生XTuner、Firefly等开源框架。选项非常多，选一个顺手的就行。

Q10: 在实践中如何选择：提示词工程、RAG知识库还是微调？

一张图就能解决你的困惑。简单来说，这三者各有适用范围：提示词工程解决简单任务，RAG适合需要外部知识检索的场景，而微调则适用于需要深度定制模型能力的场景。具体怎么选，全看你的任务需求和资源情况。