文本分块哪家强？LumberChunker、语义分块、段落级、循环分块、HyDE、命题级

说到RAG系统，大家都知道它通过把模型生成和上下文相关文档结合起来提升准确性，但有一个细节往往被低估——文本怎么切分成“块”，直接决定了检索质量。这个问题虽然基础，但处理得好坏，结果差距能拉到肉眼可见。

先梳理一下用于问答实验的RAG Pipeline里那些常用技巧：混合检索方面，BM25取Top3，密集检索取Top15，然后排序上把BM25的Top1放在最前面，Top2-3扔到最后；大模型重排序这边，如果上下文块数超过六个，就从中间点开始反转块的顺序。这些trick单独看都挺有效，但真正决定上限的，还是分块策略本身。

LumberChunker这个方法很有意思——它直接让LLM来动态分割文档，确保每个块在语义上独立成篇。背后的逻辑很直观：固定大小的块往往切不到点上，内容块的大小如果能根据语义变化来调整，检索效率自然会上去。具体怎么做的呢？分三步走：首先，按段落把文档切好；其次，通过不断追加连续的段落块，组成一个组（Gi），直到累计的token数超过预设的阈值θ；最后，把这个组丢给Gemini，让它来判断哪一段开始出现了明显的内容转折，从而确定当前块的结束位置和下一块的起始点。整个过程在文档中循环往复，直到切完。

实验数据相当亮眼。在GutenQA这个3000个QA的数据集上，用不同粒度的问题做测试，LumberChunker在DCG@20指标上比最接近的竞争者——循环分块（Recursive Chunking）高出

。其他参与对比的基线包括：语义分块（Semantic Chunking）、段落级（Paragraph-Level）、HyDE、命题级（Proposition-Level）。无论是DCG@k还是Recall@k，LumberChunker在各列中基本都拿了第一。

当LumberChunker被集成进完整的RAG流程后，效果依然稳，比所有其他分割方法和竞争基线都更有效。

当然，它也不是没有短板。主要两方面：一是它每次都要调用大模型，成本和时间都比传统方法高一大截；二是它专门为叙事文本设计，碰上结构清晰的技术文档或表单类内容，可能就不是最优选择了。

（用于书籍《小熊维尼》由A. A.米尔恩著）

与表2中的例子不同，表3段落中的代词“He”不能被准确共指，导致命题（propositions）有些模糊。因此，如果用户问到“埃隆·马斯克家族中谁曾经做过牛仔表演者？”这样的问题，一个仅使用命题作为检索单元的模型将无法提供准确的回答。