LangChat实战DeepSeek-R1模型

### 探索LangChat在企业AI领域的实践应用，深入了解DeepSeek-R1模型的本地部署和使用技巧

先聊聊企业级AI项目落地的几个核心关注点。如何快速搭建一个支持本地知识库、能接上主流大模型的AIGC平台？LangChat正好给出了一个开箱即用的方案。这次我们重点实践DeepSeek-R1模型的本地部署，以及如何利用LangChat的Agent功能和知识库系统，构建一个真正能用的企业AI问答工具。

核心内容：

• LangChat企业级AIGC项目解决方案介绍
• DeepSeek-R1模型的本地部署与Ollama的使用
• 构建知识库与LangChat Agent功能的结合应用

LangChat如何接入DeepSeek-R1模型

本教程给使用LangChat的朋友学习如何本地部署DeepSeek-R1模型。以及如何使用LangChat的Agent功能构建知识库。

关于LangChat

是Ja va生态下企业级AIGC项目解决方案，集成RBAC和AIGC大模型能力，帮助企业快速定制AI知识库、企业AI机器人。

Gitee AI / 阿里通义 / 百度千帆 / DeepSeek / 抖音豆包 / 智谱清言 / 零一万物 / 讯飞星火 / OpenAI / Gemini / Ollama / Azure / Claude 等大模型。

• 官网地址：http://langchat.cn/

• Gitee：https://gitee.com/langchat/langchat
• Github：https://github.com/tycoding/langchat

安装DeepSeek-R1

DeepSeek-R1由DeepSeek公司推出，是目前性价比最高的开源推理模型之一，成本控制做得相当出色。

这里仅介绍使用Ollama部署DeepSeek-R1模型，其他模型的部署方式可以参考官方文档。

基础概念

在动手之前，有几个关键点值得先捋清楚，避免后面踩坑。

1. Ollama是安装模型最简单的方式，不需要python、Docker以及其他复杂过程。
2. 无论本地安装DeepSeek-R1的哪个版本，其实区别都不大，因为都是阉割版的小参数模型，别被营销号带偏。
3. Ollama的run命令执行后，会先检查本地是否有此模型——如果有就直接运行，没有就先下载再运行。
   注意：Ollama客户端兼容全平台，不是非得Linux服务器。
4. Ollama的run启动模型后会暴露

   11434
   HTTP端口，其他所有LLM OPS应用都通过这个端口与模型交互。可以访问 http://127.0.0.1:11434 查看状态。
5. DeepSeek-R1是推理模型，Embedding模型需要单独安装，这两者概念不同。如果需要知识库向量化，别指望用DeepSeek-R1。
6. ……

DeepSeek-R1下载哪个版本？

——因为都是阉割版的小参数模型。所以建议直接装 或者 做测试就够了。真实生产场景还是推荐调用API。

Ollama地址：https://ollama.com/library/deepseek-r1

运行 ollama run deepseek-r1 命令默认安装的是

版本。

1. 1.5B 模型，基本上任意笔记本都能安装
2. 7/8B 模型，至少本地电脑有16G内存
3. 14B以上模型，至少本地电脑有32G内存

1. 安装Ollama

Ollama官网地址 https://ollama.com/

页面会根据你的操作系统自动提供对应安装包，直接下载安装即可。

2. 安装DeepSeek-R1

如果本地电脑是 ≥16G内存，就用默认的安装命令；否则建议安装1.5B小模型

因为是16G笔记本，所以直接按默认下载7B模型。

正常情况下，如上图所示，本地电脑就已经安装好了DeepSeek-R1模型。

3. 验证DeepSeek-R1模型是否启动

如上，你可以在控制台直接交互。

另外本地访问 http://127.0.0.1:11434 地址，能看到如下信息：

启动LangChat

注意：LangChat至少需要以下环境：

1. MySQL8
2. JDK17+
3. PgVector等

• Gitee：https://gitee.com/langchat/langchat
• Github：https://github.com/tycoding/langchat
• GitCode: https://gitcode.com/LangChat/LangChat

首先本地IDEA打开LangChat项目（等待Ma ven加载完成）

1. 执行数据库脚本

在docs/目录下找到langchat.sql，在MySQL中执行此脚本。

此脚本包含了创建名为langchat的数据库（因此不需要手动创建数据库）

2. 修改配置文件

首先检查SpringBoot的application-*.yml配置文件

1. MySQL连接信息
2. OSS信息（默认的local代表使用tomcat的地址，当然建议使用阿里云或七牛云，或者本地用NGINX搭建本地文件服务器）

3. 安装PgVector

这里只推荐Pgvector，不要用Redis。Pgvector可以用Na vicat等工具可视化查看数据表

Pgvector官方仓库：https://github.com/pgvector/pgvector?tab=readme-ov-file#installation-notes---windows

Postgres官网：https://postgresapp.com/downloads.html

注意：安装Pgvector后仍需要有Postgres 15+基础环境。所以如果你是第一次安装，你需要两者都装。

因为用的是Mac，所以有多种安装方式。如果不想麻烦可以用Docker

这里已经编译好了一个pgvector发布到阿里云仓库，直接运行compose即可启动，省去那一系列繁琐步骤。

如果上面脚本执行成功，在数据库应该能看到langchat

1. 如果是自己手动安装的Pgvector，请手动创建langchat数据库
2. 尽量不要自己手动编译pgvector源码，太麻烦了

4. 运行LangChat

上述配置完毕后，即可正常启动LangChat

启动成功后如上图，注意

测试LangChat

首先进入LangChat这个页面

因为我们用的Ollama部署的DeepSeek-R1模型，所以必须使用Ollama配置

1. 模型版本写： deepseek-r1
2. BaseUlr写：http://127.0.0.1:11434/
3. ApiKey任意填

测试LangChat聊天功能

到此为止，DeepSeek-R1模型已经启动并配置好，我们先测试Chat基础功能

如上，接口已经调通了。

配置LangChat知识库

首先你需要安装好Pgvector和OSS

1. 配置向量数据库

2. 本地下载Embedding模型

当然建议直接使用阿里云、百度、智谱的Embedding模型，这样只需要配置ApiKey即可。但很多朋友可能还想本地部署，这里教大家。

同样，使用Ollama下载Embedding模型

进入官网：https://ollama.com/search?c=embedding 找到排名第一的Embedding模型

执行命令 ollama pull nomic-embed-text

如上结果，Ollama模型很小，很快运行结束。但不要尝试执行ollama run xxx，因为run命令是针对Chat模型的，这里是Embedding模型。

可以通过ollama list查看到下载的模型

3. 测试Embedding模型

执行如下脚本

curl http://localhost:11434/api/embeddings -d '{
  "model": "nomic-embed-text",
  "prompt": "The sky is blue because of Rayleigh scattering"
}'

如上说明Embedding模型正在运行，模型名称是nomic-embed-text，访问地址是：http://localhost:11434/api/embeddings

4. LangChat配置Embedding

• 模型版本填 nomic-embed-text（Select中输入并回车即可）
• BaseUrl填写：http://localhost:11434/

5. 创建LangChat知识库

知识库中只关联Embedding数据库和Embedding模型

6. 导入知识库文档

在上面配置好nomic-embed-text模型后，往知识库导入文档

如果你是按照上面步骤配置的Embedding模型，你很可能会收到如下向量化失败错误：

为什么报错ERROR: expected 1024

因为我们在LangChat配置了

的数据库，所以生成的表也只接收1024维度的数据。

nomic-embed-text 模型只能生成768维度的数据，并不是生成1024维度的数据（当然如果你使用公有云模型，他们的模型一般都能支持生成多维度数据：768、1024、1536等）

从上表中可以看到不同模型能生成什么维度的数据。

例如阿里云的文档中，关于Embedding模型的定义如下：（你在最初阶段就应该考虑哪种模型兼容哪种向量维度）

无论用的哪个模型，如果向量维度一旦不匹配，就必然出现类似报错。按照如下步骤解决：（前提是仍用本地的Embedding模型，当然你换一个能输出1024维度的Embedding模型也是可以的）

1. 使用如Na vicat等客户端工具删除langchat库中的表

1. 在LangChat管理端修改

   向量数据库的纬度配置
   ，修改为768维度

1. 重启LangChat后端项目，系统会重新生成此表，并接收768维度的向量

正常情况下，重启后就可以重新导入文档进行向量化了。

7. 重新导入知识库文档

准备如下这个txt文档

正常情况下，后端会提示向量化成功，有如下日志：

在向量数据库中，能看到如下分段信息：

8. 向量搜索测试

正常情况下，如果向量化成功，你可以在LangChat页面看到如下切面信息：

来进行一下向量检索测试：

到此为止，LangChat知识库配置已经结束

创建LangChat AI应用

上面知识库配置成功后，下面开始创建LangChat AI应用

如下所示创建AI应用，这里只需要关联我们刚才设置的DeepSeek-R1模型

配置LangChat应用

创建LangChat应用后，关联刚才创建的知识库，即可进行知识库问答了

关联好我们创建的知识库后，直接测试就能引用知识库的内容了

测试LangChat应用

如上，说明它引用了我们上传的langchat.txt文档

验证是否查询向量文本？

1. 可以在控制台看到如下打印日志：

后面的部分就是引用的知识库文档

1. 可以拿未配置知识库的普通聊天做测试

可以看到未配置知识库，是不知道LangChat是什么的。