首页 > 教程攻略 > ai资讯 >RAG预处理增强：让Fastgpt/Dify召回更多东西

RAG预处理增强：让Fastgpt/Dify召回更多东西

来源：互联网时间：2026-08-27 14:40:22

目前的FastGPT、Dify（或者其他同类产品），在知识库召回上有个共性：本质上召回的依然是分片后的文本块，也就是纯文本信息。不过，如果我们在预处理上做点文章，不仅能提升召回精度，还能让图片、公式、表格这些内容也一并被召回。下面就把这套预处理方法拆开来讲。

01 原理以及实现

本文中涉及的预处理方法已集成到 pdfdeal 包中（需要 0.2.4 或更高版本），直接从 PyPI 安装即可：

pip install --upgrade pdfdeal

整体思路并不复杂。以 PDF 文档为例，先将其转换为 Markdown 格式，再对 MD 文件进行一系列操作。大致分为三步：

转换文档
：这一步借助转换工具还原原始文档中的公式和整体结构。如果工具足够强，表格和纯图片也能被保留下来。
拆分段落
：按自然段落把文本拆开。相比滑动窗口那种一刀切的分块方式，段落级别的拆分能显著提升每个分块内文本的相关性。
转换图片
：对于不需要 OCR 的图片（比如示意图），将其上传到云存储（如阿里 OSS、S3、Cloudflare R2），然后用 Markdown 格式的 URL 替换本地路径。这样一来，图片也能被召回。

题外话：什么是“纯图片”？

举个例子：下图中蓝色方框部分是表格，应该被识别为表格（此处识别为 HTML 格式的表格）；红色方框部分展示的是原理图，不应该被 OCR 处理，而是原样保留。目前主流的转换工具都有能力做到这一点。

⚠️ 注意

从这里开始，默认你已经安装了最新版的 pdfdeal，并且待处理的 PDF 文件放在 ./Files 文件夹中。

02 转换文档：PDF 转 Markdown

选一个能满足以上所有需求的转换工具——结构保留、公式识别、表格识别、图片保持——并不难。Doc2X 是一个不错的选择，它免费且功能完备，pdfdeal 包中也内置了对其的支持。

当然，如果你偏好其他工具，完全可以自由选择。以下是用 pdfdeal 调用 Doc2X 进行转换的示例代码：

from pdfdeal import Doc2X
from pdfdeal.file_tools import get_files, unzips

Client = Doc2X()
out_type = "md"
file_list, rename_list = get_files(path="./Files", mode="pdf", out=out_type)
success, failed, flag = Client.pdf2file(
    pdf_file=file_list,
    output_path="./Output",
    output_names=rename_list,
    output_format=out_type,
)
print(success, failed, flag)

zips = []
for file in success:
    if file.endswith(".zip"):
        zips.append(file)

success, failed, flag = unzips(zip_paths=zips)
print(success, failed, flag)

执行后，你会得到类似这样的输出：

['./Output/2408.07888v1.zip', './Output/1706.03762v7.zip'] [{'error': '', 'path': ''}, {'error': '', 'path': ''}] False
['./Output/2408.07888v1', './Output/1706.03762v7'] ['', ''] False

03 拆分段落

大多数 RAG 应用都支持自定义分隔符来切分文档。我们可以利用这一点，在段落之间插入标记，让分段按自然逻辑进行——毕竟滑动窗口往往是按固定长度切分，缺乏语义边界。

pdfdeal 提供了现成的方法。这里选择直接替换源文件模式：

# 上接 step1 中的代码
from pdfdeal.file_tools import auto_split_mds

succese, failed, flag = auto_split_mds(mdpath="./Output", out_type="replace")
print(succese, failed, flag)

输出类似：

MD SPLIT: 2/2 files are successfully splited.
Note the split string is :=+=+=+=+=+=+=+=+=
['./1/1706.03762v7.md', './1/2408.07888v1.md'] [{'error': '', 'file': ''}, {'error': '', 'file': ''}] False

打开生成的 MD 文件，可以看到每个段落之间已经插入了分隔符：

04 转换图片为 URL

到目前为止，图片还是以本地路径形式存在的，像 ![123.jpg](images/123.jpg)。大多数 RAG 应用没法直接显示这种路径。解决方法很简单：把图片上传到云存储，让它们变成可访问的 URL。pdfdeal 同样有内置方法。

目前 pdfdeal 内置了阿里 OSS 和 Cloudflare R2（兼容 S3 协议）的上传方法，也支持自定义上传函数。这里以阿里 OSS 为例——开通 OSS 的教程网上很多，注意两点：

Bucket 要设置公网可访问，否则没法用：

密钥（AccessKey）要有 OSS 的读写权限：

假设密钥已经通过环境变量配置好了。再安装阿里 OSS 的上传包：

pip install -U oss2

然后执行转换：

# 上接 Step2 中的代码
from pdfdeal.FileTools.Img.Ali_OSS import Ali_OSS
from pdfdeal.file_tools import mds_replace_imgs
import os

ossupload = Ali_OSS(
    OSS_ACCESS_KEY_ID=os.environ.get("OSS_ACCESS_KEY_ID"),
    OSS_ACCESS_KEY_SECRET=os.environ.get("OSS_ACCESS_KEY_SECRET"),
    Endpoint=os.environ.get("Endpoint"),
    Bucket=os.environ.get("Bucket"),
)

succese, failed, flag = mds_replace_imgs(
    path="Output",
    replace=ossupload,
    threads=5,
)
print(succese, failed, flag)

再次查看 MD 文档，图片已被替换为 URL。在 RAG 应用中召回时，这些图片就能直接显示了：

05 完整程序

下面是一个完整的流水线脚本，把上面三个步骤串起来：

from pdfdeal import Doc2X
from pdfdeal.file_tools import get_files, unzips, auto_split_mds, mds_replace_imgs
from pdfdeal.FileTools.Img.Ali_OSS import Ali_OSS
import os

Client = Doc2X()
out_type = "md"
file_list, rename_list = get_files(path="./Files", mode="pdf", out=out_type)
success, failed, flag = Client.pdf2file(
    pdf_file=file_list,
    output_path="./Output",
    output_names=rename_list,
    output_format=out_type,
)
print(success, failed, flag)

zips = []
for file in success:
    if file.endswith(".zip"):
        zips.append(file)
success, failed, flag = unzips(zip_paths=zips)
print(success, failed, flag)

succese, failed, flag = auto_split_mds(mdpath="./Output", out_type="replace")
print(succese, failed, flag)

ossupload = Ali_OSS(
    OSS_ACCESS_KEY_ID=os.environ.get("OSS_ACCESS_KEY_ID"),
    OSS_ACCESS_KEY_SECRET=os.environ.get("OSS_ACCESS_KEY_SECRET"),
    Endpoint=os.environ.get("Endpoint"),
    Bucket=os.environ.get("Bucket"),
)

succese, failed, flag = mds_replace_imgs(
    path="Output",
    replace=ossupload,
    threads=5,
)
print(succese, failed, flag)