RAG数据集自动构造探索, 附PROMPT

说实话，从文档里手动构建几百个 QA 样本（问题-上下文-答案），谁干谁知道——那真是一件极其磨人的事情。更头疼的是，靠人工想出来的问题，往往在复杂度和多样性上都差点意思，很难覆盖全面评估所需的各个维度，最终评估效果自然也会打折扣。相比之下，用合成数据生成，能把开发人员在数据聚合上花的时间直接砍掉 90%。

一个理想的数据集，应该能覆盖生产环境中可能遇到的各种问题类型，不同难度级别的都得有。但大模型本身有个毛病：它不太擅长创造多样性，总是倾向于沿着熟悉的路径走。今天咱们就聊聊 Ragas 里是怎么搞定这件事的。Ragas 走了一条新路子——进化生成范式，简单说，就是从给定的文档集里，系统性地“演化”出各种带有不同特征的问题，比如需要推理的、带条件的、跨多段上下文的。这样一来，就能全面覆盖流水线里各个组件的表现，无论用来训练还是评估，都靠谱得多。

方法介绍

实际上，利用大语言模型，把简单问题改造成更复杂的问题，效果相当不错。为了从文档里生成中等甚至高难度的样本，Ragas 用了下面几招：

• 推理
  ：把问题重写成需要更多推理才能答对的形式。换句话说，得让回答者在给定信息里多做几步逻辑连接或推断。

• 增加条件
  ：在问题里加入条件元素，增加复杂度。比如加个场景或限制条件，让问题不再那么直白。

• 多上下文
  ：调整问题的措辞，让它必须从多个相关段落或部分里提取信息才能回答。这一点特别考验对全局信息的把握。

• 对话式
  ：把部分问题演化成对话样本，模拟那种聊天式的问答互动，让整个评估更贴近真实场景。

实现Prompt展示

下面直接看看每个策略具体用的 Prompt，做个参考。

详细的 Prompt 源码可以参考官方仓库。

代码实现

直接上代码，看看怎么用。

from ragas.testset.generator import TestsetGenerator
from ragas.testset.evolutions import simple, reasoning, multi_context
from langchain_openai import ChatOpenAI, OpenAIEmbeddings

# documents = load your documents

# generator with openai models
generator_llm = ChatOpenAI(model="gpt-3.5-turbo-16k")
critic_llm = ChatOpenAI(model="gpt-4")
embeddings = OpenAIEmbeddings()

generator = TestsetGenerator.from_langchain(
    generator_llm,
    critic_llm,
    embeddings
)

# Change resulting question type distribution
distributions = {
    simple: 0.5,
    multi_context: 0.4,
    reasoning: 0.1
}

# use generator.generate_with_llamaindex_docs if you use llama-index as document loader
testset = generator.generate_with_langchain_docs(documents, 10, distributions) 
testset.to_pandas()

生成的问题分析

你可以自定义各类问题的分布比例。比如上面这个例子，简单问题占 50%，多上下文问题占 40%，推理问题占 10%。