FastGPT 现已接入 minerU2,文档解析能力再上新台阶!
FastGPT 接入 MinerU,文档解析能力再升级
先抛一个核心结论:想让 FastGPT 的知识库发挥出全部实力,高质量的数据输入是关键中的关键。
说到这儿,就不得不提 PDF 这个“老朋友”了。作为工作中最常用的文件格式,它结构复杂,要想把它完美地转换成知识库能理解的文本,并不容易。FastGPT 内置的 PDF 解析器主要基于 pdfjs 库,对于纯文字内容表现不错,但一旦遇到图片、表格、公式这些非纯文本元素,解析效果就有很大可能会打折扣——排版错乱、内容丢失,这些都是常见问题。
那问题来了,怎么解决这一痛点?
答案是:在 FastGPT 社区版或商业版中,接入专业级的文档解析引擎,比如
MinerU
Marker

什么是 MinerU?它为什么值得关注?
MinerU
接入之后,最直观的感受就是文档解析的精度和质量有了质的提升,处理速度也明显加快了。这意味着,你完全可以把内容最丰富的复杂文档毫无损失地导入知识库,从而充分释放 FastGPT 的全部潜力。
效果展示
接入 MinerU 后,你可以直观地看到它对复杂文档内容的解析能力飞跃——无论是图片、公式、表格,还是手写体,都能得到近乎完美的还原。
图片识别效果:
公式识别效果:
表格识别效果:
手写体识别效果:
接入方式:社区版 vs 商业版
从 FastGPT v4.9.0 版本开始,接入操作已经非常便捷。
- :直接在
社区版用户
config.json文件中添加systemEnv.customPdfParse配置项。 - :更简单,在 Admin 管理后台根据表单指引填写即可。
商业版用户
这个方法同样适用于接入 Marker 解析服务。
本地化部署与接入 MinerU 详细指南
在本地环境部署 MinerU 的过程并不复杂,核心思路是拉取官方镜像、启动容器,然后将服务地址配置到 FastGPT 中。以下是详细步骤。
00,硬件需求
为了让 MinerU 稳定运行,硬件配置需要满足以下建议:
- :16GB+ 显存的推理卡。
GPU
- :至少 16GB+,推荐 32GB+ 以获得更佳性能。
内存
- 其他详细信息可参考官方 GitHub 项目:
https://github.com/opendatalab/MinerU
01,拉取镜像,启动容器
我们提供的 Docker 镜像已经内置了所有 pipeline 模型和对接 FastGPT 的 API 服务,可以避免因网络问题导致模型拉取失败的风险。
拉取 Docker 镜像:
docker pull crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/fastgpt_ck/mineru:v1
启动 Docker 容器 (GPU 环境):
docker run --gpus all -itd -p 7231:8001 --name mode_pdf_minerU crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/fastgpt_ck/mineru:v1
注意:
02,配置 URL 至 FastGPT 平台
通过 Docker 部署的 MinerU 服务地址格式为:http://<您的IP>:7231/v2/parse/file。需要将 <您的IP> 替换为服务器的实际 IP 地址,然后将完整的 URL 填入 FastGPT 的配置中。
方式一:商业版 Admin 后台配置
登录你的 FastGPT 管理后台(默认为 http://localhost:3002/),在相应配置项中填入 MinerU 的 URL 地址即可。
方式二:社区版 config.json 文件配置
打开 FastGPT 的 config.json 文件(可在官方文档《Docker Compose 快速部署》中找到),找到 systemEnv.customPdfParse 部分,将 URL 填入其中。
// 已使用 json5 进行解析,会自动去掉注释,无需手动去除
{
"feConfigs": {
// ... 其他配置
},
"systemEnv": {
// ... 其他配置
"customPdfParse": {
"url": "http://127.0.0.1:7231", // <--- 在这里填入你的自定义 PDF 解析服务地址
"key": "", // 自定义 PDF 解析服务密钥
"doc2xKey": "", // doc2x 服务密钥
"price": 0 // PDF 解析服务价格
}
}
}
保存配置(若修改 config.json,则需重启 FastGPT 服务)后,一切就绪。然后你就可以在 FastGPT 的知识库中,对导入的 PDF 文件进行增强解析了。
结合的价值:从数据到智能的跨越
MinerU 和 FastGPT 的结合,带来了两个层面上的显著提升:
- 告别错乱的排版和丢失的表格,MinerU 能完美还原文档的原生结构。
更精准的文档解析:
- 高质量的知识库源文件,意味着 FastGPT 能提供更准确、更可靠的回答。
更强大的问答体验:
所以,不妨亲自动手试试,为你的 FastGPT 知识库装上“火眼金睛”。
-
- 关于宇宙的好的网名有哪些
- 角色扮演 | 1
- 网名