使用Kernel Memory进行RAG评估：AI助力企业知识管理新突破

在现代企业知识管理场景中，随着业务持续扩张，文档与数据量呈现爆炸式增长。如何高效管理这些知识？传统的人工方式不仅费时费力，而且在判断文档切片质量和回答准确度时，往往很难规模化。既然我们已经在用AI处理各种任务，那为什么不干脆让AI来接手质量评估呢？这正是RAG评估体系的价值所在。

今天要聊的主题是Kernel Memory中一个实验性模块——Evaluation。它尚未正式发布，但在AI社区里已经吸引了不少关注。这个模块包含两个核心组件：

（测试集生成器）和（测试集评估器），分别负责自动生成测试数据集，以及基于数据集进行质量评分。借助它们，企业可以显著降低人工成本，同时大幅提升文档处理流程的效率和准确度。

TestSetGenerator：自动生成测试数据集

在进行Kernel Memory评估之前，首先需要一个测试集——包含查询和预期的答案。手工构造测试集对于大数据量来说极其繁琐。于是，生成器应运而生：它可以从给定的Kernel Memory内存和索引中自动创建测试集。

下面是一个简单的代码示例：

using Microsoft.KernelMemory.Evaluation;

var testSetGenerator = new TestSetGeneratorBuilder(memoryBuilder.Services)
    .AddEvaluatorKernel(kernel)
    .Build();

var distribution = new Distribution
{
    Simple = .5f,
    Reasoning = .16f,
    MultiContext = .17f,
    Conditioning = .17f
};

var testSet = testSetGenerator.GenerateTestSetsAsync(
    index: "default", count: 10, retryCount: 3, distribution: distribution);

await foreach (var test in testSet)
{
    Console.WriteLine(test.Question);
}

在这段代码中，我们先通过 TestSetGeneratorBuilder 创建生成器并注入 Evaluator 内核。然后定义了一个分布参数，用以控制不同类型问题的占比。最后调用 GenerateTestSetsAsync 生成测试集，并逐条打印问题。

TestSetEvaluator：自动质量评估

测试集生成后，下一步就是评估。通过 TestSetEvaluator，我们可以直接对 Kernel Memory 的性能进行打分：

var evaluation = new TestSetEvaluatorBuilder()
    .AddEvaluatorKernel(kernel)
    .WithMemory(memoryBuilder.Build())
    .Build();

var results = evaluation.EvaluateTestSetAsync(
    index: "default", await testSet.ToArrayAsync());

await foreach (var result in results)
{
    Console.WriteLine($"Faithfulness: {result.Metrics.Faithfulness}, ContextRecall: {result.Metrics.ContextRecall}");
}

这里先构建评估器，配置好内核和内存实例。然后对测试集进行批量评估，输出每个结果中的两个关键指标：

和。

项目结构与本地化适配

从项目结构看，Evaluation 模块的代码量并不大，核心逻辑主要依赖提示词（prompt）。需要特别注意的是，Kernel Memory 默认的提示词是全英文的，在中文场景下效果会打折扣。因此，将其平移翻译为中文后再进行测试，是一个很自然的调整。

下方展示了一份翻译前后的对比。由于该模块大量依赖 JSON 输出，所以使用的模型必须支持 json_object 模式，否则运行时会出现较多报错。

实际应用案例：AntSK 项目

在 AntSK 项目中，我们已经集成了 Evaluation 模块，用于自动化的质量评估。通过将 Kernel Memory 的 Evaluation 能力与业务系统结合，不仅实现了高效的文档管理与评估，也为企业知识管理带来了实质性的效率提升和创新空间。

总结与展望

使用 Kernel Memory 进行 RAG 评估，是一种创新且高效的思路。它能够显著降低企业知识管理中的人工成本，同时提升处理效率和准确度。随着 AI 技术的不断成熟，未来会有更多类似的自评估工具涌现，为企业智能化转型提供更坚实的支撑。

如果您的企业正面临知识管理方面的瓶颈，或者希望探索 AI 在质量评估上的更多可能性，不妨关注这类实验性模块——它们或许会带来意想不到的突破。