MaxKB 添加本地大语言模型(LLM)创建智能问答应用

MaxKB 这款基于 LLM 大语言模型的知识库问答系统，开箱即用，确实挺方便的。不过有个小门槛：当你试图接入本地大语言模型时，它只认域名，不接受本地 IP 或局域网 IP 直接填写。这给不少想在本地跑模型、又不想折腾公网 IP 的同学造成了困扰。别急，结合 cpolar 内网穿透工具，这个问题其实很好解决。下面就来一步步拆解，如何让 MaxKB 成功“抓取”你本地的大语言模型。

cpolar 是一款安全的内网穿透服务，它能将内网下的本地服务器通过安全隧道暴露至公网，让公网用户正常访问内网服务。支持 Windows、Mac、Linux 多系统，也支持 TCP、UDP、HTTP 等多种协议，适用各种开发和生产环境，灵活性很强。

接下来，我们以 Windows 环境为例：先在本机运行大语言模型框架 Ollama，并在其中下载 llama2 模型，然后在 MaxKB 中通过 cpolar 穿透的公网地址添加这个本地模型，创建属于我们自己的智能问答应用。全程无需公网 IP，也无需域名。

1. 下载运行 Ollama

进入 Ollama GitHub 界面（https://github.com/ollama/ollama?tab=readme-ov-file），选择 Windows 版本下载。下载后双击安装，默认安装到 C 盘。安装完成后一般会自动运行，如果没有运行，去应用列表双击启动即可。

打开命令窗口，输入 ollama -v，可以看到版本信息，说明安装成功。在浏览器输入 http://127.0.0.1:11434/ 访问 Ollama 服务，能看到“Ollama is running”的字样，本地运行就绪了。接下来安装大语言模型。

2. 安装大语言模型

Ollama 安装完成后，在命令窗口输入：ollama run llama2，然后等待下载安装。出现 success 表示下载完成，按 ctrl+d 退出。再输入 ollama list 就能看到已下载的模型列表（本例下载了两个，所以显示两个）。接下来安装 cpolar 内网穿透工具，实现远程也能调用 Ollama 这个大语言模型框架。

3. 安装 cpolar 工具

本例基于 Windows 系统，所以 cpolar 也安装在 Windows 上。访问 cpolar 官网（https://www.cpolar.com/）注册账号，下载并安装客户端。Windows 系统：下载安装包后，双击一路默认安装即可。

安装成功后，在浏览器访问本地 9200 端口（http://localhost:9200），使用 cpolar 账号登录，就能看到 cpolar 管理界面，后续所有设置都在上面完成。

4. 配置公网地址

点击左侧仪表盘的“隧道管理”——“创建隧道”，创建一个 Ollama 的公网 HTTP 地址隧道：

• 隧道名称：可自定义，注意不要与已有隧道名称重复
• 协议：选择 HTTP
• 本地地址：11434
• 域名类型：免费选择随机域名
• 地区：选择 China
• host 头域：127.0.0.1:11434

点击“创建”（一次即可，不要重复点击）。隧道创建成功后，点击左侧“状态”——“在线隧道列表”，查看生成的公网访问地址。有两种访问方式：HTTP 和 HTTPS，两种都可以使用。选择其中一个在浏览器访问，可以看到“Ollama is running”字样，说明公网访问成功。

：为了更好地演示，我们使用了 cpolar 生成的随机隧道地址。这种随机地址建立速度快，可以立即使用，但缺点是网址由随机字符生成（例如 3ad5da5.r10.cpolar.top），不易记忆，而且 24 小时内会随机变化，更适合临时使用。如果希望将网址发送给同事或客户，建议使用固定二级子域名，更正式、易记，便于协作。

5. 固定公网地址

由于随机公网地址会变化，不利于长期远程访问，所以我们需要配置一个固定的二级子域名（cpolar.cn 已备案）。

注意：需要将 cpolar 套餐升级至基础套餐或以上，每个套餐对应的带宽不同。

登录 cpolar 官网，点击左侧的“预留”，选择“保留二级子域名”，设置一个二级子域名名称，点击保留。保留成功后复制该名称。

返回 cpolar Web UI 管理界面，点击左侧“隧道管理”——“隧道列表”，找到要配置的隧道，点击右侧的“编辑”。修改隧道信息：域名类型选择“二级子域名”，Sub Domain 填写保留成功的二级子域名。点击“更新”（一次即可，不要重复）。

更新完成后，打开在线隧道列表，公网地址已经变为自己设置的二级子域名。在浏览器输入该固定地址，再次看到“Ollama is running”，说明固定公网地址设置成功。下面就在 MaxKB 中添加调用本地模型。

6. MaxKB 添加 Ollama

MaxKB 是一个基于大语言模型的问答系统，可以看作一个前端界面，支持对接多个大语言模型。具体可查看 Gitee 开源地址（https://gitee.com/aqie-project/MaxKB）。成功运行 MaxKB 后，登录进去，点击“系统设置”→“模型设置”→“Ollama”，然后点击“添加模型”。

前面四个参数正常填写选择即可，模型选择 llama2（目前页面没有 llama3 选项，选 2 即可）。API 域名输入 cpolar 的公网地址——注意，这里只能输入域名。然后是 API key 参数，这个 key 在启动 Ollama 软件的日志中可以找到。在右下角找到 Ollama 运行的小图标，右键点击，选择“查看日志”，打开 server.log 文件，在最开始可以看到 key 信息（注意框住的部分就是 key）。把 key 粘贴到 API Key 框里，点击“添加”即可。

最后可以看到成功添加。如果在添加过程中本地还没有 llama2 模型，系统也会自动下载。

7. 创建问答应用

点击“应用”，创建一个问答应用。模型选择我们刚刚添加的大语言模型。创建完成后，点击“演示”进入问答页面，就可以开始对话了。llama2 是一个英文模型，所以回答基本上是英文。当然，你可以导入其他模型，方式相同。由于运行在 Windows 设备上，设备配置越高，响应越快。这样一个智能问答应用就设置好了。