LLM落地淘宝电商搜索场景，显著提升长尾query改写效果

LLM 无疑是当下学术界和工业界都争相关注的热点 —— 学术界研究它的原理，工业界则急着把它塞进实际业务里。今天要聊的这篇文章来自 WWW24，讲的是淘宝电商如何把 LLM 用到搜索场景的 query 改写中。核心做法是：精心构建领域特定的数据集对 LLM 做 fine-tune，定义三种不同的优化目标，再用 Preference Rank Optimization 损失来学习候选之间的偏序关系。这套方案在长尾 query 的“few-recall”问题上效果非常明显，直接缓解了那些冷门搜索词召回不足的痛点。

：Large Language Model based Long-tail Query Rewriting in Taobao Search
下载地址：https://arxiv.org/pdf/2311.03758

背景介绍

淘宝电商搜索引擎的流程可以简单概括为：用户输入搜索词后，平台先做语义理解，对用户 query 进行改写；然后基于原始词和改写后的词一起召回商品；最后经过多层排序，展现给用户头部商品。这个链路中，query 改写的目标很明确 —— 在保持相关性的前提下做语义扩展，让更多相关商品能被召回。举个例子，“DIY blind box”和“Self-building blind box”语义相同，但前者是主流搜索词，召回结果很丰富；后者则是长尾搜索词，很难召回到多少商品。如果把后者改写成前者，语义不变，召回的商品却大幅增加，后续排序就有更大几率推荐转化率高的商品，最终拉动订单量和 GMV。

已有的 query 改写工作主要聚集在两个方向：

：从候选词集合中预估出最优的词。这类方法依赖一个精心构造的词典作为改写候选，否则改写后语义容易跑偏。

：用 Transformer 系列模型根据原始 query 直接生成改写词，有些还会加入强化学习或对比学习的思路。但这类方法受限于模型参数量 —— 参数越大表达能力越强。目前也有用 LLM 做 query 改写的工作，可惜没有针对 query 改写这个特定任务对 LLM 做 fine-tune，结果多少有点局限。

实现方法

本文提出了 BEQUE 框架（a comprehensive framework that Bridges the sEmantic gap for long-tail QUEries），整个框架分三个阶段，下面逐一拆解。

第一阶段：Multi-instruction Supervised Fine Tuning

用多领域数据集对 LLM 进行 fine-tune，主要包括 Query Rewriting Dataset 和辅助数据集两部分。

：先用基线改写策略，从原始 query 中取相关性排名前 N 的改写 query。为了进一步优化数据集相关性，限制原始 query 与改写 query 的相关性必须大于某个阈值。但基线策略对长尾 query 效果不佳 —— 即便语义上相关，召回的商品集合未必相关。所以引入拒绝负采样：要求原始 query 和改写 query 召回商品后，用户真实交互过的商品数大于一定阈值，从而保证两者在召回商品集合层面的相关性。

：为了增强 LLM 对长尾 query 的理解能力，又加入了三个辅助数据集做 fine-tune —— 质量分类（quality classification）、商品标题预测（product title prediction）、以及思维链（Chain-of-thought）。

第二阶段：Offline Feedback

设计多个函数从不同角度评估改写 query 的质量，主要包括 relevance、increment、hitrate 三个评估方法。

：即使原始 query 和改写 query 语义上相关，召回的商品集合也不一定相关。为此定义相关性指标，衡量改写前后召回商品的相关性。淘宝的离线评估方法本身就能评估 query 和召回商品标题的相关性，于是定义改写 query 召回商品与原始 query 的相关性如下。

：query 改写可以增加商品召回的个数，从而解决“few-recall”问题。定义增量指标来衡量改写后是否确实增加了召回商品的数量。

：定义命中率指标：如果在搜索场景之外成交过的某件商品与原始 query 相关性大于一定阈值，那么 query 改写后应尽量把该商品也召回来。

第三阶段：Object Alignment

强制模型学习改写 query 之间 pairwise 的偏序关系。具体使用 PRO Loss 来 pairwise 地学习改写 query 之间的顺序。模型的最终损失函数是监督微调的 loss 加上 PRO loss。

实验结果

模型离线效果如下表所示。与多种基线对比，BEQUE 在多个测试集上的 rele 指标略逊一筹，但在 incr 和 hitrate 指标上有极大幅度的提升 —— 这正是解决长尾召回问题的关键所在。

在线应用方面，LLM 难以满足在线 serving 的时效性要求，没法直接部署在线上。所以对热门 query 做离线 inference，把改写后的 query 存储为 key-value graph 的形式，确保在线能及时响应。这套方案覆盖了淘宝主搜 27% 的 PV。原始 query 和改写 query 召回的商品取并集，进入后续排序环节。在 14 天的在线 AB 实验中，GMV、订单量和 UV 上都拿到了正向效果。