LARA：用于多轮意图分类的语言适应性检索增强的大模型

大型语言模型（LLMs）在文本分类领域确实成绩斐然，不过之前的研究大多聚焦在单轮分类和单一语言上。多轮意图分类呢？麻烦就大了——对话上下文复杂不说，还在不断演变，更何况还要应付跨语言的聊天机器人交互。更棘手的是，多轮数据集的收集和注释成本高昂，现实世界里很难找到现成的。

多轮意图分类数据集的注释挑战

LARA框架正是为应对这些挑战而生。它把微调后的小型模型和检索增强机制结合起来，让多轮意图分类变得可行。具体怎么操作呢？首先，LARA用基于XLM的模型在单轮分类数据集上训练。然后，通过检索增强机制，找到与多轮测试样本语义相似的单轮示例，用这些示例构建提示（prompt），再喂给LLM做上下文学习（ICL）。这样一来，LARA就能动态利用过去的对话和相关意图，对上下文的理解自然也更到位。自适应检索技术还增强了LLMs的跨语言能力，省去了大量重新训练和微调的工作。

整个流程可以拆解成几个关键环节：

1. 单轮意图识别模型（Mc）
   ：LARA用了一个基于XLM的文本分类模型，先在单轮对话数据集上训练。这个模型负责把用户查询映射到预定义的意图类别里。

2. 候选意图选择
   ：到了多轮对话中，LARA先锁定可能的候选意图。怎么做的呢？把当前查询和历史查询拼在一起，用Mc模型预测每个组合的意图，从而缩小范围。

3. 检索增强
   ：LARA利用预训练的XLM模型，检索与测试查询语义相似的单轮示例。这些示例作为演示（demonstrations），给LLM提供决策依据，同时也在上下文学习期间指导模型输出格式。

4. 提示构建和LLM推理
   ：最后，LARA构造一个输入提示（P），把任务指令、检索到的演示、对话上下文和最终用户查询都塞进去。这个提示引导LLM推理，最终识别出多轮对话中的意图。

语言适应性检索增强的流程

LARA在六个语言的电子商务多轮数据集上做过验证，结果在多轮意图分类任务上达到了当时最优性能。和现有方法相比，

，而且在ICL期间推理时间也更短。它处理复杂多轮对话的能力，以及在实际应用中的适应性，都得到了充分展示。

，平均值是根据每个市场中测试样本的数量加权计算的。每个数据集的最佳性能用粗体表示，而次佳性能用下划线表示。