使用LM Studio与Anything LLM基于Llama-3高效构建本地知识库系统

坦白说，要找到一套能够快速落地、又不用写太多代码的本地知识库方案，确实花了些功夫。既要能本地化部署大模型，又要兼顾知识库的便捷性，还得让业务专家、产品经理甚至测试人员都能轻松上手——这听起来像是个“既要、又要、还要”的难题。直到最后锁定了LM Studio + Anything LLM这对组合，才算是把各个环节都串起来了。

业务背景

搭建一套靠谱的本地知识库系统，需要满足以下几个能力：

1. 能够快速将大模型部署到本地，开箱即用。
2. 结合大语言模型，有一套好用的知识库系统，方便日常管理和问答。
3. 业务专家和产品设计人员即便不懂代码，也能快速构建原型，亲身体验大模型知识体系的构建过程，还能顺便评估不同模型的效果。
4. 算法人员如果想把模型“套壳”或者做微调，能用一款工具完成本地化部署和分发，省去单独写后台服务的麻烦。
5. 开发人员拿到算法训练好的模型后，可以快速构建出符合OpenAI标准的服务API，方便整个团队接入测试和验证。
6. 测试人员能在搭建好的大模型和知识库问答应用里快速测试，并且能跟踪每一步的细节——比如embedding召回了哪些内容、有没有遗漏关键知识点，通过接口日志一目了然。
7. 甲方企业要验证知识库项目的可行性，也能用这两个工具快速搭出本地测试环境，进行全流程跟踪调试，验证没问题后再考虑立项或系统集成。

LM Studio 安装部署及使用

安装

LM Studio 是一款桌面软件，安装和配置都非常简单。直接访问 lmstudio.ai，根据操作系统下载对应版本即可。

安装完成后，主界面长这样，整体布局很清晰：左侧是模型管理和聊天，右侧是服务器配置和日志。

安装完成——就这么简单。

下载和管理大模型

LM Studio 首页自带模型列表和搜索功能，可以直接从 Hugging Face 上获取支持的大模型。比如搜一下最近也很火的 Mistral，点“download”就能下载到本地。

下载进度条会实时显示，下载完成后，点“My models”就能看到本地模型列表。我这里已经下载了4个大模型：LLama-3、LLama-3 Chinese、Gemma，还有刚才下载的Mistral；一个embedding模型（据说是社区推荐的nomic-ai-nomic-embed-text）；还有一个自己基于LLama-3套壳的本地模型。

AI Chat 聊天测试

模型下载好了，先试试能不能正常用。进入AI Chat界面：

• ① 选择模型，比如选刚下载的Mistral，左侧会显示内存和CPU占用情况
• ② 聊天历史记录
• ③ 对话参数配置，保持默认就行
• ④ 聊天主交互区

第一个测试就翻车了——Mistral模型对问题的理解出了偏差，回答完全不对路子：

换成最近超火的 LLama 3 8B，效果就明显好多了：

将大模型部署为后台服务

点击“Local Server”进入服务配置界面：

1. 选择作为后台服务的大语言模型——这里选了LLama3
2. 选择embedding算法，我用了社区比较推荐的 nomic-ai-nomic-embed-text
3. 配置端口，然后启动Server
4. 针对不同编程语言的示例代码（比如Python）
5. 服务日志界面——每一次API调用都会记录下来，方便排查问题。对于算法和测试人员来说，embedding返回结果的召回情况一清二楚，调优起来非常直观。

用 Anything LLM 快速构建知识库应用

Anything LLM 有两个版本：桌面版和Docker部署版。这里选择安装桌面版，如果希望拥有用户权限管理功能，可以研究一下Docker版本——它是开源的，适合在生产环境中作为知识库后台系统，并开放API给前端业务系统集成。

安装

访问 useanything.com/download 选择对应版本下载，安装就和普通软件一样。

安装完成后，有三个比较重要的配置需要设定：

1. 配置大模型
   ：推荐使用LM Studio，因为它调试方便。输入LM Studio后台服务的URL，选择模型和token大小。

   

   当然也可以选择OpenAI或Anything LLM自带的模型。如果选Anything LLM，系统会列出支持的大语言模型，点击“Sa ve Changes”后会在后台自动下载对应模型到本地。所以Anything LLM本身也可以独立运行。

   

2. 配置embedding模型
   ：这个模型用于文档切分和向量数据库中知识内容的相似度判断与召回。它的好坏直接影响大模型的推理结果。这里我选择LM Studio中提供的 nomic-embed-text-v1.5。

   

3. 向量数据库
   ：选择了轻量级的LanceDB。

   

配置知识库

返回主界面，默认是空的，没有任何应用。需要创建一个新的Workspace。

点击“New Workspace”，创建名为“iTop”的工作区（举个例子）。

接着需要为这个工作区添加知识库内容。手动创建了一份Markdown格式的应急预案文档，内容大致包括数据库异常处理等。

在Anything LLM界面点击上传按钮，可以上传本地文件，也可以抓取网站内容。

上传本地的应急预案文件：

由于之前配置了embedding算法使用LM Studio推荐的nomic-ai-nomic-embed-text，上传后系统会自动调用LM Studio的后台服务对文档进行切分。后台日志会显示切分过程：

至此，知识库配置完成。下面进入问答环节。

知识问答

现在来测试一下，输入问题“数据库异常锁表故障”，看看效果如何。

• 首先，输入问题后，系统会调用LM Studio后台的API进行embedding召回相关知识点。在Server Logs控制台可以看到完整的调用过程，以及从知识库中召回的内容：

  

  

• 获取召回的知识点后，LM Studio的大语言模型（LLama 3）开始推理，并将结果返回给Anything LLM，最终呈现如下：

  

  对比一下原文内容，效果非常不错——原文是这样的：

  

至此，基于大模型的本地知识库系统已经搭建完毕，并走通了从知识构建到知识问答的完整流程。接下来要做的就是评估问答结果，优化系统表现，为生产环境的应用做好准备。