如何在Visual Studio Code中轻松运行Llama 3模型:完整指南

Meta 正式发布了 Llama 3,这个最新的开源语言模型一出来就引起了不小的关注。既然开源,那直接下载到本地跑起来,是不是很香?
老实说,你八成会嘀咕:在我那台破笔记本上跑一个80亿参数的AI模型?这听起来像是技术极客才能干的事儿。别急,真的没那么玄乎。这篇指南就是来帮你打破这个错觉的,一步步带着你上手,让你在自己的电脑上把Llama 3跑起来。
先看看我这次用来演示的机器配置,算是给大家一个参考:
- 笔记本型号:Lenovo ThinkPad X1 Extreme
- 操作系统:Windows 11 Pro 版本 10.0.22631 构建 22631
- CPU:Intel(R) Core(TM) i7-9850H 处理器
- 内存:32 GB
- 硬盘空间:642 GB
实际上,你并不需要一块天价的GPU。只要CPU还不错,内存够用,手里的这台机器就能把这活儿干好。
准备工作
在开始之前,先把环境摸清楚。下面就是具体的操作步骤,一个坑都不让你踩。
第 1 步:下载并安装 Ollama
先去 Ollama 的官网,把最新版的安装程序下载下来。Ollama 这个工具,说白了就是帮你跨平台折腾大语言模型的,不管是下载、运行还是分享,它都能搞定。
安装完之后,确保它在后台跑着。你可以瞄一眼系统托盘或者任务管理器,看到 Ollama 的图标就对了。
怎么确认它到底好不好使?打开命令行,敲个版本号看看就知道了。
> ollama -v
ollama version is 0.1.32
我的版本是0.1.32,你的可能会更新一些,这不影响大局。
第 2 步:在 VS Code 中安装 CodeGPT 扩展
接下来,打开 Visual Studio Code,找到扩展商店,搜“CodeGPT”(来自codegpt.co的那个),点安装。这个扩展就像一个桥梁,让你可以直接在VS Code里头调用Llama 3。
装好之后,左边侧边栏里就会多出一个CodeGPT的图标,点它就能用了。
第 3 步:下载模型
模型从哪来?最简单的方法就是在VS Code的终端里,直接敲命令让它下载。
ollama pull llama3:8b
注意,这个模型包有4个多G,下载起来需要点耐心。得等它彻底下完,你会看到一个成功的提示消息,到这一步才算稳了。
第 4 步:选择 Llama 3 模型
在CodeGPT的仪表盘里,找到“提供者”那个下拉菜单,选“Ollama”。紧接着在“模型”下拉菜单里,找到或者手动输入“Llama3:8b”。
这一步千万别选错了,只有配对了,CodeGPT才会老老实实地用Llama 3来回答你的问题。
第 5 步:在VS Code上运行Llama 3
万事俱备,来测试一下能不能正常跑起来。顺手丢个问题进去:
Prompt:
Response:
一切正常。既然能聊天了,不如试试更实用的功能——让它解释代码。在VS Code里打开任意的源代码文件,右键点击,选择“CodeGPT: 解释CodeGPT”。
代码会直接作为提示输入到CodeGPT的面板里,AI分析完之后,会给你吐出详细的解释。这才是真正的干货:你完全不需要把代码复制粘贴到ChatGPT或者其他外部聊天工具里了。而且整个过程都是本地的、免费的,既不用担心API费用,也不用依赖网络。
就这样!这是一份完全可操作的,在Visual Studio Code里运行Llama 3的完整指南。希望对你有用。在自己的机器上本地跑大模型,其实真没想象中那么复杂,对吧?