LoRA与全量微调：大型语言模型高效微调方法比较

先说说这项研究的核心发现：哥伦比亚大学和Databricks的团队对LoRA和全微调在大模型上的表现做了完整的对比，结论很有意思——LoRA在编程和数学任务上的准确率和样本效率确实不如全微调，但它带来的正则化效果、内存效率以及保持基础模型泛化能力的特点，在某些场景下反而比全微调更值得用。这就像你手里有两把刀，一把锋利但容易钝，另一把不那么快但持久耐用——具体选哪个得看你要切什么菜。

论文介绍

机器学习模型动辄数十亿参数，微调起来需要精打细算。目标是既要提升模型在特定任务上的准确性，又不能把计算资源烧得太狠。这个平衡，在NLP、AI的各种实际部署中尤其关键——资源用得好不好，直接决定了方法是能落地还是只能停留在实验室。

全量微调（Full Fine-Tuning）的做法是把所有参数都调整一遍，效果通常最好，但GPU内存占用高得吓人。相比之下，参数高效微调方法如LoRA（低秩自适应）只修改一小部分参数，内存开销大幅下降。但问题来了：LoRA到底能不能在那些硬核任务上追上全微调？尤其编程、数学这类需要精确推理的领域，性能的每一丁点差距都可能让模型从“能用”变成“鸡肋”。

研究团队设计了两个目标领域的实验：

• 编程（Programming）
• 数学（Mathematics）

具体来说，他们做了指令微调（约10万提示-响应对）和继续预训练（约100亿非结构化token）两种设置。目的是全面比较LoRA和全微调在不同数据量、不同任务复杂程度下的适应能力。这种设计让结论更有说服力——不是只看一个指标，而是从多个维度暴露各自的优劣势。

结果出乎很多人的预料吗？也不算。在编程任务上，全微调在200亿token时人类评估峰值分数达到0.263，而最好的LoRA配置在160亿token时只有0.175。数学任务上，全微调在4个epoch时GSM8K分数达到0.642，最好的LoRA同一点是0.622。差距存在，但没到“一方彻底碾压另一方”的地步。更重要的是，LoRA表现出了一种相当强烈的正则化效应——它比权重衰减、dropout这些常规手段更能保住基础模型在目标领域之外任务上的能力。也就是说，如果你微调一个模型只为了让它会写代码，LoRA可能让它同时还能记得怎么翻译、怎么回答问题，而全微调则容易“忘掉”这些。

深入分析权重变化后会发现，全微调造成的权重扰动比LoRA大10到100倍。全微调可能需要高达256的秩才能完成任务，而LoRA用16或256的秩就能跑。这个秩的巨大差异，部分解释了性能差距。但反过来，正是因为LoRA只做低秩扰动，它生成输出的多样性明显更强——全微调容易收敛到有限的解决方案，LoRA则保留了更多可能性。在一些需要创造性、多样性的应用里，这可是巨大的优势。

总而言之，LoRA在准确性和样本效率上确实不如全微调，但它在正则化、内存效率以及对基础能力的保持上有着不可替代的价值。优化超参数（比如学习率、目标模块的选择），以及理解学习与遗忘之间的权衡，可以进一步把LoRA在特定任务上用得更顺手。这项研究给大模型微调指了一条更可持续、更灵活的路——并非所有场景都值得砸入全微调的资源，LoRA这把“没那么快”的刀，其实在很多情况下刚刚好。

论文下载

• 论文
  地址：https://arxiv.org/abs/2405.09673