18k star 的开源本地部署大模型利器-Jan，支持启动本地服务

之前分享过一篇如何用LM Studio本地部署Llama 3的文章，那款软件用起来确实顺手，不过毕竟是闭源的，未来会不会突然开始收费、或者推出一些商业限制，谁也说不准。所以，手边最好留一个随时能替补上场的工具——这就是今天要聊的Jan。

什么是 Jan？

Jan是一个开源的客户端产品，在GitHub上已经积累了不少关注。它可以看作是ChatGPT的桌面级替代方案，主要能力体现在以下几个方面：

• 部署本地大模型
  ：直接在个人电脑上运行Llama、Mistral这类模型，数据完全留在本地，不需要网络连接。

• 调用远程API
  ：如果本地配置不够，也可以连接OpenAI、Groq或Mistral的API，所有计算在云端完成。

• 100%离线可用
  ：没网络的时候照样用，一切数据只保存在自己的电脑上。

• 跨平台支持
  ：覆盖了Apple Intel、Linux Debian、Windows x64以及Apple M系列芯片。

• 支持扩展
  ：这是高级玩法，可以根据自己的需求去定制Jan的功能。

安装和使用流程都相当简洁，即便是刚入门的新手，也能在大学之内跑起自己的本地大模型。

安装步骤

先去官网选择对应自己系统的安装包下载。以三金的Mac M系列为例，下载对应的安装包，一路下一步即可完成安装。

打开后能直观感受到，Jan的界面比LM Studio更清爽一些，但对话窗口的布局大差不差。

部署本地模型或调用远端模型

刚装上的时候，本地还没有可用的模型，需要通过Hub菜单下载大模型，或者选择OpenAI GPT、Groq这样的远程模型（需要先设置API Key）。

试着下载一个「Mistral Instruct 7B Q4」模型，不出意外的话，直接下载大概率会失败——因为默认下载地址是Hugging Face。

修改模型的下载地址

不用慌。点击左下角的设置，进入「Advanced Settings」高级配置，打开「Jan Data Folder」的目录。在这个目录下，能看到一个models文件夹，这就是Jan存放本地模型的地方。每个模型下都有一个model.json文件，里面包含了模型的描述、配置和下载路径。

把红框中选中的URL替换为hf-mirror.com，然后重启Jan再试试，下载就能正常进行了。

以「Mistral Instruct 7B Q4」为例，修改URL之后重新点击Download，进度条就能顺利跑起来了。

三金之前已经下载了「Qwen Chat 7B Q4」模型，下载完毕后，右侧的Download按钮会变成Use，点击Use开始对话。

写代码时也能正常响应。

调用 OpenAI 的 ChatGPT

除了本地模型，Jan也支持连接OpenAI的API，以GPT 3.5为例。因为之前已经部署了FreeGPT35，所以不需要额外准备API Key。在「EXTENSIONS-OpenAI Inference Engine」中修改「Chat Completions Endpoint」，把地址替换成自己的服务地址即可。

注意红框后面那半截路径不能丢，否则无法成功调用。

设置好之后回到对话界面，在右侧的模型中选择「Remote-Open AI GPT 3.5 Turbo」，就能开始对话了。顺利调通。

启动本地服务

点击左下角的「Local API Server」，可以启动一个本地服务，这样其他客户端也能通过API访问到本地模型。

需要注意的是：一旦启动服务器，Jan本身的聊天功能就会暂停，只能通过API来调用。

服务启动后，点击「Stop Server」按钮下方的API Reference，可以查看所有可用的API接口。左侧的assistant菜单也会被禁用（这就是对话菜单）。

用/chat/completion接口举例，调用起来非常流畅。如果再配合内网穿透，就能实现外网访问本地模型。

有一点小遗憾：Phi-3模型在三金下载到本地并导入到Jan之后，始终无法运行起来。GitHub的issue区也有人遇到了同样的问题，希望能尽快支持吧。

GitHub 地址：https://github.com/janhq/jan