定制你的AI梦！快速搭建属于自己的本地FastGPT

在AI快速发展的今天，每个人似乎都在幻想拥有一个真正属于自己的智能助手——一个能理解你、能帮你解决问题的伙伴。但很多时候，我们想到的是依赖大型云服务，把数据和交互都交给第三方。其实，在本地搭建一个专属AI并非难事，而且完全可控、可定制。本文就来手把手带你从零开始，在本地部署FastGPT和Ollama，打造一套属于你自己的知识库问答系统。

什么是FastGPT

FastGPT^[1] 是一款基于大语言模型的知识库问答系统，开箱即用，涵盖了数据处理、模型调用等常见能力。它的亮点在于通过Flow可视化工作流编排，能够应对复杂的问答场景——比如查询数据库、预约实验室、检查库存等，远不止“一问一答”那么简单。

来看它的核心能力：

导入你的文档或已有问答对，AI就能按照你的数据以对话形式回答问题。想象一下，把公司内部手册、产品说明书、行业报告都丢进去，它就变成了一个活脱脱的专家。

FastGPT的界面设计相当直观，没有复杂的学习曲线。创建客服、训练模型、管理知识库，这些操作都通过可视化的步骤完成，哪怕不是技术背景也能快速上手。

支持手动输入、直接分段、LLM自动处理以及CSV导入等多种方式。如果你是上传PDF、Word、Markdown等文档，可以选择“直接分段”，系统会自动进行文本预处理、向量化、QA分割，省掉大量手动标注的时间。

通过Flow模块，你可以设计复杂的问答流程。比如用户问“库存还有多少”，流程可以先去查询数据库，再返回结果。这种编排能力让AI从一个简单的“聊天机器人”升级为真正的“业务助手”。

FastGPT对外的API接口对齐了OpenAI官方接口，这意味着你现有的GPT应用可以直接接入。同时，它也能轻松集成到企业微信、公众号、飞书等平台，实现企业内部的知识问答服务。

什么是Ollama

Ollama 是一个开源的大语言模型服务框架，它的主要价值在于简化了在本地部署和运行大型语言模型的过程。你只需要几条命令，就能下载并运行像Llama 2这样的模型，不需要复杂的配置或高性能服务器。

Ollama的几个显著特点：

：模型的权重、配置和数据被打包成Modelfile，管理起来非常方便。同时，它优化了GPU等硬件资源的使用，确保模型高效运行。

：设计精简，资源消耗小。即使在资源有限的本地环境中，也能流畅运行大型模型。它还支持热加载模型文件，可以在不同模型之间无缝切换，无需重启服务。

：支持MacOS和Linux，无论是通过Docker还是直接安装，过程都很简单。按照官方指南几步就能搞定，不需要深入的技术背景。

从零开始安装FastGPT和Ollama

模型名称	模型规格	运行方式
llama3.1:latest	LLM模型	本地
m3e	向量模型

1. FastGPT支持Sealos一键部署及docker-compose部署，本文以docker-compose部署做演示。
2. 本文对docker、docker-compose的安装细节不做赘述，假定你已具备基础环境。
3. 配置首选【PgVector版本】，如果涉及千万级以上向量，请选择【Mlivus版本】或【Zilliz Cloud版本】。
4. 本文中的项目均以CPU方式运行，实际生产环境建议准备充足的GPU资源。

安装Ollama

登录Ollama官网复制安装脚本并执行：

https://ollama.com/download/linux

[root@ollama ~]# curl -fsSL https://ollama.com/install.sh | sh

验证安装：

[root@ollama ~]# ollama

下载AI模型到本地：

[root@ollama ~]# ollama pull llama3.1:latest

验证与模型对话：

[root@ollama ~]# ollama run llama3.1:latest

运行M3e向量模型：

[root@ollama ~]# docker run -d --name m3e -p 6008:6008 registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api

安装FastGPT

确认环境是否正确：

[root@fastgpt ~]# docker --version
[root@fastgpt ~]# docker-compose version

下载docker-compose.yaml：

curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml

1. config文件作用于模型的参数配置、模型添加删除。
2. docker-compose文件用于调整FastGPT的参数。

修改config.json文件：

在llmModels层级下复制一段并修改成【llama3.1:latest】作为值。

在vectorModels层级下复制一段并修改成【m3e】作为值。

修改完毕后保存退出。

首次执行启动：

[root@fastgpt fastgpt]# docker-compose -f docker-compose-pgvector.yml up -d

手动重启一次oneapi：

[root@fastgpt fastgpt]# docker restart 5f377d1f2ac9

访问登录Oneapi，添加llama3.1 & m3e渠道，测试模型，添加令牌，获取令牌秘钥。

修改fastgpt的yaml，把令牌和秘钥填入后再次重启服务：

[root@fastgpt fastgpt]# docker-compose -f docker-compose-pgvector.yml up -d

开始使用FastGPT

登录FastGPT，新建【简单应用】测试对话。

添加知识库，并将知识库关联到简单应用中，进行对话测试。

未来，随着FastGPT和Ollama这类工具的普及，我们的工作和生活必然会被深刻改变。无论是写代码、创作内容，还是处理日常琐事，AI将成为不可替代的助手。它不光能提升效率，更重要的是能帮我们释放出时间去思考更本质的问题。

所以，与其担心被AI替代，不如主动去理解它、驾驭它。因为真正的变革，从来不只是技术本身，而是我们如何选择与它共舞。