微调自己的大模型：PyTorch开源torchtune

文档：https://pytorch.org/torchtune/0.1/

大型语言模型（LLMs）的微调，现在已经成了AI落地过程中的标配操作。道理大家都懂：让一个通用模型去适应特定场景，就像让一个全科医生专攻心内科，不调一下怎么行？但真动手的时候，问题就来了——尤其是当你手头只有一块消费级GPU，想跑个7B的模型都费劲。这时候，Torchtune 就派上用场了。它是 PyTorch 官方推出的原生库，目标很明确：让LLM微调不再那么“劝退”。

Torchtune 的诞生

开源大模型的热度有多高，不用多说。开发者们急需一个趁手的工具，能让自己手里这些模型“听人话、办人事”。但现有的微调方案，抽象层叠得太厚，想加点定制功能，得翻好几层代码，累不累？而且模型规模越来越大，显存焦虑也跟着水涨船高。Torchtune 就是冲着这些痛点来的——模块化设计，扩展方便，上手成本低，算是给开发者们提供了一个真正的“可选项”。

核心特性

• 端到端的微调支持
  ：从数据集和checkpoint下载，到模型评估和本地推理，一条龙服务，不用在不同工具间反复横跳。

• 可定制的训练构建块
  ：不同模型架构、不同参数高效微调技术（比如LoRA），都可以像搭积木一样组合，想怎么配就怎么配。

• 进度和性能指标记录
  ：训练跑得慢？哪里是瓶颈？Torchtune 帮你记下来，方便你调优。

• 模型量化
  ：微调完还能量化，部署到不同环境时更灵活。

• 与流行工具集成
  ：Hugging Face Hub、PyTorch FSDP、Weights & Biases 这些常用工具，都直接打通，省去各种适配的麻烦。

设计理念

Torchtune 的底层思路其实很接地气，主要就三条：

• 易于扩展
  ：新技术层出不穷，配方和训练循环都设计成可组合、可修改的。今天想试新的微调方法？改改配置就行。

• 快速上手
  ：不管你是老手还是刚入门，都能找到适合自己的切入方式——简单改个配置文件就开跑，想深入改代码也完全OK。

• 拥抱开源LLM生态
  ：不搞封闭，和开源生态系统深度兼容，给你最大的灵活性和控制权。

三步微调自己的第一个LLM

光说不练假把式。下面手工走一遍，看看 Torchtune 怎么帮你在单卡上微调 Llama 2。

tune download meta-llama/Llama-2-7b-hf \
  --output-dir /tmp/Llama-2-7b-hf \
  --hf-token 

，拷贝一份YAML文件自己修改：

$ tune cp llama2/7B_lora_single_device custom_config.yaml

tune run lora_finetune_single_device --config llama2/7B_lora_single_device epochs=1

看，就是这么直白。不用写一堆样板代码，一条命令就能跑起来。

更多样例

当然，Torchtune 能做的事情远不止这些。比如你想自己构建模型、叠加LoRA层，代码也是直观到不行：

from torchtune.models.llama2 import llama2_7b, lora_llama2_7b

# 构建 Llama2
base_model = llama2_7b()

# 增加 LoRA 层
lora_model = lora_llama2_7b(lora_attn_modules=["q_proj", "v_proj"])

然后设置只微调LoRA权重，看看到底节省了多少参数：

from torchtune.modules.peft.peft_utils import get_adapter_params, set_trainable_params

# 只微调LoRA权重
lora_params = get_adapter_params(lora_model)
set_trainable_params(lora_model, lora_params)

# 输出训练参数数目
total_params = sum([p.numel() for p in lora_model.parameters()])
trainable_params = sum([p.numel() for p in lora_model.parameters() if p.requires_grad])
print(
  f"""
  {total_params} total params,
  {trainable_params} trainable params,
  {(100.0 * trainable_params / total_params):.2f}% of all params are trainable.
  """
)
# 输出结果如下：
# 6742609920 total params,
# 4194304 trainable params,
# 0.06% of all params are trainable.

注意看这个比例——67亿参数里，只需要训练约420万个，占比才0.06%。这就是LoRA的威力，也是为什么你能在消费级GPU上把它跑起来。

更狠的是，用两块显存超过16GB的GPU，你就能分布式LoRA微调LLAMA2-7B：

tune run --nnodes 1 --nproc_per_node 2 lora_finetune_distributed --config llama2/7B_lora \
lora_attn_modules=['q_proj','k_proj','v_proj','output_proj'] \
lora_rank=32 lora_alpha=64 output_dir=./lora_experiment_1

未来展望

大模型还在飞速进化，Torchtune 也在跟着迭代。可以期待它未来支持更多语言、更多模态、更多任务，但核心的设计理念不会变——保持灵活性，让社区能持续推动创新。说到底，Torchtune 给微调领域带来的不只是又一个工具，而是一种更轻量、更自由的思路。无论你是想研究最新的参数高效微调方法，还是只想快速部署一个私有模型，Torchtune 都值得一试。那么，动手吧？