提示词工程论文登上ICML 2026,网友吵翻了天
先说一个让人大跌眼镜的消息。提示词工程,竟然也能被ICML接收了?
事情是这样的。有位老哥在Reddit上分享了一篇刚被ICML 2026接收的论文,帖子瞬间引爆,评论区蹭蹭往上涨。但所有人的反应出奇一致——这也行?

论文里没有提出任何新的优化算法,也没有训练出新的大模型。作者只干了一件事——
改Prompt。
这个叫做Verbalized Sampling(VS)的方法,核心思路就是通过调整提示词,来显著提升大模型输出的多样性,缓解长期困扰LLM的Mode Collapse(模式坍缩)问题。
听起来挺实用的,但仅凭一个Prompt技巧就能上顶会?这合理吗?

别急着下结论,先看看论文到底说了什么。
一篇争议十足的ICML论文
一篇争议十足的ICML论文

你有没有这种感觉,AI越来越同质化了?问它十遍“给我讲一个笑话”,得到的答案高度相似。不仅仅是创作任务,回答问题、代码生成,都是如此。
这种现象,在学术界被统称为
模式坍缩

过去要解决这个问题,大多数研究者首先想到的是调整采样参数、修改解码算法、甚至重新训练。但这篇论文另辟蹊径,
直接让模型把自己的采样过程一并输出
举个前面讲笑话的例子。作者修改了提示词,要求模型:
生成5个笑话,同时为每个笑话分配一个可能的概率值。
结果呢?模型产出的内容更丰富、重复率也更低。就这么简单。连微调都不需要,只换一种提问方式,就能大幅提升内容多样性。

当然,论文里对这套方法是有严密论证的。
首先,他们要搞清楚造成模型千篇一律的根本原因。过去,学界普遍把问题归咎于算法层面,比如奖励模型不够好、KL惩罚项设置得不够合理。这篇论文深入调查后发现,真正的病根可能出在偏好数据上。
他们提出了一个概念——
典型性偏差

这意味着,哪怕奖励模型、优化算法做得完美无缺,只要训练用的人类偏好数据自带典型性偏差,对齐后模型依然会出现模式坍缩。作者在五个偏好数据集和不同的基座模型上反复测试,
结论保持一致
想通这一点后,作者的思路就清晰了。既然问题根植于训练数据,那只需要在推理阶段设计一个提示词方案修正——具体来说,就是在Prompt中让模型输出完整概率分布——便能唤醒预训练阶段中模型原本具备的多元输出分布,找回多样性。
剩下的就是把这套方法在各种场景里实验跑一遍。结果很亮眼:在创意写作任务中,多样性提升是普通提示的
1.6~2.1倍

所以,诚然方法本身很简单,但ICML最终还是Pass通过了。
Reddit网友吵翻了
Reddit网友吵翻了
不过在原贴下面,对这篇论文的评价可以说是
两极分化
不少网友表示,以前的ICML都是新模型、新算法、新理论这种硬核创新,只做Prompt、推理流程优化,还算不上正经的机器学习研究。相比之下,这篇工作的
创新稍显单薄
- 类似写指令的方法并非独创,甚至有人表示自己昨天就在这么写Prompt
- 理论不好验证,因为Prompt换模型可能就失效了,不像算法那么稳定
- 实验规模有限,不足以证明这是个普适规律

有人干脆把机器学习领域的现状类比为
心理学界
高度依赖实证实验,轻视严谨理论支撑
行业内卷追逐新方法,但普遍存在过度调参、benchmark刷分的风气。很多所谓的创新算法,对比成熟基线模型几乎没有实际落地价值,仅靠微小指标提升就包装成创新成果。本质上,都是学科高速扩张后,从业规范不清晰导致的论文出版问题。

但支持者的观点也很明确:
科学研究并不是比谁的方法更复杂

其中一位作者本人也在评论区回应,表示这篇论文看似简单,实则包含
非常多复杂的处理过程

很多人也提到了思维链
CoT
Let’s think step by step.

可如今,几乎所有的推理方法都能追溯到CoT。这恰恰说明,提示词工程早已不是简单的写提示词,它正在成为研究模型行为的新方法。
过去十几年,机器学习研究几乎都围绕训练展开。但现在,一些
推理阶段的使用技巧
研究团队介绍
研究团队介绍
最后来看一下研究团队。该工作由美国东北大学Weiyan Shi团队联合斯坦福Manning实验室、西弗吉尼亚大学合作完成,Jiayi Zhang、Simon Yu、Derek Chong为并列第一作者。

Jiayi Zhang

Simon Yu
