超简单在本地部署Llama3的方案

Llama3 来了，本地部署其实很简单

4月19日，Meta开源了Llama3大模型。这大概是近期AI圈最引人注目的消息之一，不少创业团队又可以借此做不少事情了。

这次发布的Llama3有两个版本：8B和70B。8B版本在评测中直接压过了前不久刚发布的Gemma 7B，70B版本则和Gemini Pro 1.5、Claude 3打平甚至略胜一筹。那还正在训练中的400B版本，估计目标是直接挑战GPT-4。压力给到了OpenAI和Google。

好消息是，8B版本在普通消费级显卡上就能运行——量化版本显存占用不到10GB。下面就用最简单的方式，带大家在本机部署Llama3-8B，全程只需要两个软件，开箱即用。

第一步：安装Ollama

Ollama是目前本地运行大模型最省事的工具之一，支持Llama、Gemma、Qwen等主流开源模型。

先去官网下载：https://ollama.com/

Ollama现在已经提供了Windows版本，直接下载对应系统版本，运行安装即可。

第二步：配置Ollama并下载模型

Ollama有两个常用配置项可以调整：

• OLLAMA_MODELS
  ：模型下载路径，默认在C盘，想换位置就设这个环境变量。

• OLLAMA_HOST
  ：当以服务方式运行（提供API）时，默认只能localhost访问，设为0.0.0.0则允许网络访问。

设置方法：桌面“此电脑”右键 → 属性 → 高级系统设置 → 环境变量 → 系统变量 → 新建，添加上面两个配置和对应的值。保存后需要重启系统生效。

接下来下载模型。在Ollama官网的Models栏目找到Llama3，选择8B版本。右侧会显示一行命令：ollama run llama3:8b，把它改成 ollama pull llama3:8b，然后在命令行中运行。下载需要一些时间，耐心等待即可。

下载完成后，运行 ollama list 就能看到已下载的模型。此时如果用 ollama run llama3:8b，就可以直接在命令行里和Llama3对话了。

第三步：安装Chatbox客户端

命令行操作不太方便，可以再装一个图形客户端。这类工具很多，这里推荐一个最简单易用的——Chatbox。

从官网下载：https://chatboxai.app/zh，安装后打开，在设置中配置：

• AI模型提供方：Ollama
• API域名：http://localhost:11434（本机安装就用localhost，端口是Ollama服务的默认端口）
• 模型下拉选择 llama3:8b，然后保存。

之后就可以愉快地和Llama3对话了。

Llama3 实际体验

Llama3整体的推理和逻辑能力都不错。美中不足的是对中文支持不算太友好，但比Llama2已经好了不少。它的训练语料大约只有5%是非英文内容。

它能看懂中文，但大部分回答会用英文，除非明确要求它用中文。而且一旦用中文回答，逻辑表现明显不如英文。比如问一个“鸡兔同笼”问题：

“一群兔子和鸡，共有20个头，50只脚。有几只兔子，几只鸡？”

英文回答是正确的，而中文回答则出现错误。

另外也发现一个趋势：同样参数量级的大模型，一代比一代强。核心原因在于数据——Llama3用了15T的token训练，是Llama2的7倍、Gemma的2倍。再加上架构和工程上的持续改良，未来模型的能力还有很大提升空间。

值得注意的一个细节是：Meta为了训练Llama3，堆了近5万张H100显卡。一张H100的价格差不多能买一辆Su7，而且目前国内还很难采购，全靠黄牛背回来。希望我们的科技早日突破封锁吧。