TextIn文档树引擎，助力RAG知识库问答检索召回能力提升

08/07

TextIn团队的文档解析测评工具Markdown Tester在Github上线后，我们陆续聊了不少关于PDF解析评判标准的话题，包括段落、表格、公式、阅读顺序等维度的测评指标设计。今天，我们来聊一个在PDF解析中绕不开的难点——标题识别，以及它如何影响后续的数据清洗与RAG系统开发。

具体来说，标题检测的评判逻辑，和段落检测是类似的。相关指标通过相似规则构建：

• 标题识别率
  ，测量的是标题解析是否足够准确——被识别为标题的项目里，有多少是真正意义上的标题；

• 标题召回率
  ，则测量段落解析是否足够全面，能不能避免长篇文档中有被遗漏的“漏网之鱼”；

• F1值
  ，作为识别率和召回率的调和平均值，综合反映文档解析的整体性能。

这里还要提一下“树状编辑距离”的概念。相比表格树状结构，标题的树状结构更容易理解——凡是长文档，大多包含多层级标题。把标题层级以树状结构的方式表达出来，再测量预测结果与真实值之间的编辑距离，就能评判各层级标题的解析准确程度。简单说，如果解析产品把一篇论文的二级标题识别成了三级子标题，那在这个指标里就会被扣分。

标题检测是PDF解析的主要维度之一，尤其是长文档解析，这一点尤为关键。TextIn团队为此专门研发了文档树引擎技术，用以提升标题检测能力。

传统的物理版面分析技术，能对目标区块进行检测和元素识别，并利用标题区块的高度（也就是字号）来判断一级、二级、三级……N级标题。这种方法能解决一部分问题，但在文档格式复杂多样的场景中，表现往往不够稳定。在此基础上，文档树引擎从语义出发，进一步增强了标题的识别率与召回率。

TextIn文档树引擎的工作路径

一、输入

• 整份文档的段落内容，以序列化形式传入模型

二、预测

• 提取当前段落的embedding值
• 预测每个段落和上一个段落的关系，分为子标题、子段落、合并、旁系、主标题、表格标题
• 如果是旁系类型，则继续往上找父节点，并判断其层级关系，直到找到最终的父节点

三、输出

• 基于每个段落的情况，构建该文档的文档树，并按 JSON 结构输出（右图中未渲染段落节点）

正确的标题检测结果与文档树构建，对数据质量有重要的提升作用，尤其体现在后续的数据清洗、大模型语义理解以及RAG开发应用场景中。

简单来说，当AI对长文档进行检索与理解时，清晰的标题及层级识别，能帮助机器快速读取全文的逻辑结构，并锚定我们需要查找或归纳的信息位置。无论是让LLM帮忙快速阅读、生成摘要，还是提取细节内容，清晰的标题目录都能发挥重要作用。

以RAG（检索增强生成）这一核心场景为例，在系统开发过程中，

对整体性能的影响十分显著。RAG在进行信息检索时，需要把检索出来的有价值的文本段送到模型里，模型才能生成可靠有用的内容。分块的过程，就是把整篇文本切成小段。当我们用LLM embedding内容时，好的分块能帮助优化从向量数据库被召回的内容的准确性，所以说，文本段的质量是RAG中比较重要的一环。好的分块能减少计算资源消耗，提高检索效率，并提升生成质量。

常见的Chunking方式

1. 固定长度切分：
   按固定长度切分文本，比如每1000或2000个字符切一个块。这种方法简单直接，处理快，但可能没办法充分考虑文本的实际语义结构，容易导致上下文断裂，影响重要的语义信息。

2. 基于句子的切分：
   按照句子粒度切分，例如以句号、点号等标点符号进行切分。这么做能保证每个句子的完整性和上下文连贯性。但如果句子太长，可能会丢失一些细节，或者因切分不准确而影响检索效果。

3. 滑动窗口切分：
   创建一个重叠的滑动窗口，比如窗口大小设为500，步长设为100。这种方法能减少因固定长度或句子边界切分可能引入的信息丢失，在一定程度上平衡文本的连续性和语义完整性。但重叠的上下文会导致信息重复，增加计算量，而且窗口的起止点可能会落在句子或短语中间，造成语义不连贯。

不同的Chunking策略和参数设置，会导致生成的Chunk特点不同，进而影响RAG模型在下游任务中的性能表现。除了常规方法，还有一种对文档要求更高的分块方式：

。这个策略要求文档有明确的结构化信息，能有效利用文档的层次信息，保持语义的连贯性。

基于语义分割的优化，使用各级子标题作为分块依据，能最大程度锚定完整内容。这种优化实现起来需要充分的前提条件：文档解析工具必须能为RAG提供结构清晰、机器可读的长文档，比如自带标题层级的Markdown文本。

好的文档解析工具，能让分块处理“不打没准备的仗”，为语义分割提供良好基础。

目前，TextIn文档解析工具已在RAG知识库问答中发挥重要功能，文档树引擎在年报、财报、行研报告等金融文件领域，展现了明显的优势。

对于文档解析工具在RAG、LLM场景下的效果，欢迎各位开发者随时提出需求，与我们交流您当下的用途和需要。