MAGPIE：基于自回归LLM的大规模指令数据集自动生成方法

华盛顿大学与艾伦人工智能研究所最近放出的一篇工作，挺有意思——他们搞了个叫MAGPIE的方法，直接利用对齐后的大语言模型自身的自回归特性，通过预设模板自动生成高质量的用户查询和对应回复，从而构建大规模指令数据集。说白了，就是让模型自己教自己，省去大量人工标注的麻烦，最终目的是进一步提升大语言模型的性能。

论文介绍

大语言模型（LLM）如今已经成了很多场景下的基础工具，能生成类人文本、执行各类任务。但说到底，它们能走多远，很大程度上取决于微调时所用的指令数据集的质量与多样性。数据不行，模型再先进也白搭。

问题在于，获取高质量、多样化的指令数据集，本身就是个不小的拦路虎。虽然像Llama-3这类模型开放了权重，但它们背后的对齐数据往往仍是闭源的，限制了更广泛的研究。要手工构建大规模指令集，费时费力，成本高昂，想同时保证规模和多样性几乎不可能。这个瓶颈直接拖累了LLM功能的进步和实际应用。

现有生成指令数据的方法大致分两类：人工整理的数据和模型生成的合成数据。人工数据虽精确，但规模化难度大；合成数据则通常依赖种子问题加提示工程，但随着数据集扩大，生成的指令容易陷入同质化，多样性不足。

而MAGPIE的思路很直接：利用对齐LLM的自回归特性，只给模型一个预定义的模板，让它自己生成用户查询和对应回复。整个过程不需要手动设计复杂的提示词，也不需要种子问题，从源头上保证了数据的多样性和广度。

具体操作分两步走：

• 指令生成：将预设模板喂给对齐后的模型（比如Llama-3-8B-Instruct），模型据此生成多样化的用户查询。
• 响应生成：让模型基于刚才生成的查询，再生成对应的回复。这样一来，完整的指令-响应对就自动产生了。

整个过程无需人工介入，效率相当可观。生成MAGPIE-Air和MAGPIE-Pro两个数据集，分别只用了206和614个GPU小时。

研究人员分别用Llama-3-8B-Instruct和Llama-3-70B-Instruct作为基模型，生成了MAGPIE-Air和MAGPIE-Pro两个数据集。其中还包含多轮指令版本（MAGPIE-Air-MT和MAGPIE-Pro-MT）。最后，通过过滤精选出高质量子集，得到MAGPIE-Air-300K-Filtered和MAGPIE-Pro-300K-Filtered。

效果如何？与ShareGPT、WildChat、Evol Instruct、UltraChat、OpenHermes等公共数据集训练的模型相比，使用MAGPIE数据微调的模型表现相当亮眼。在AlpacaEval 2基准上，对GPT-4-Turbo (1106)的胜率达到29.47%，在Arena-Hard和WildBench等多个对齐基准上甚至超过了官方Llama-3-8B-Instruct模型（要知道官方模型可是用了超过1000万个数据点训练的）。

总的来说，MAGPIE为大规模生成高质量指令数据集提供了一条相当简洁高效的路径。它自动化了数据生成流程，不再依赖繁琐的提示工程和种子问题，产生的数据多样且覆盖广，对推动LLM应用落地是个很实用的工具。