使用 Llama3 打造开发团队的私有 Copilot

相信很多开发人员都使用过 GitHub Copilot，这种崭新的开发方式确实能极大提升开发效率，而且正在悄然改变大家的编程习惯。Meta 开放了最新的开源 LLM（大语言模型）Llama3 之后，业界的各种开发工具和框架都在积极集成它——毕竟是迄今为止功能最强大的开源大模型。今天我们就来聊聊，如何用 Llama3 构建一个团队专属的私有化 Copilot，既能提高开发效率，又能保护团队的代码隐私。

编程助手 Copilot

Copilot 是一种人工智能代码辅助工具，最早由 GitHub 和 OpenAI 共同开发，后来其他厂商也推出了类似产品。它通过自然语言处理和机器学习技术，自动生成高质量代码片段和上下文信息。相比传统的自动补全工具（通常只能补全一两行代码），Copilot 可以生成整个函数的代码，甚至整个类，从而大幅减轻程序员的工作量。除了代码生成，它还支持 AI 问答、代码解释、语言转换、生成单元测试等功能。目前 Copilot 的使用主要有以下几种形式。

线上服务

第一种是线上服务，比如 GitHub Copilot^[1]。用户只需安装 IDE 插件即可使用，无需关心模型部署。优点是能用上性能强大的线上模型——尤其是 GitHub Copilot，训练数据来自 GitHub 上的代码，生成的代码质量更高；缺点是无法保护代码隐私，因为你的代码会上传到服务端。 除了 GitHub Copilot，类似的产品还有： - Codeium^[2]：一家专注为开发者提供更智能高效编程体验的 AI 公司，支持 VSCode、Jetbrains 等 40 多种 IDE，个人使用完全免费 - CodeGeeX^[3]：清华大学开发的代码辅助工具，支持多种语言，免费使用，采用自研模型 - CodeWhisperer^[4]：AWS 推出的代码辅助工具，免费使用，特色是具备安全扫描功能 - 通义灵码^[5]：阿里云推出的代码辅助工具，基于阿里研发的 Qwen 大模型，支持多种语言，免费使用

本地服务

第二种是本地服务，需要在本地部署 LLM，再通过 IDE 插件调用本地 LLM 的 API 服务。常用的部署工具有 Ollama^[6]、LocalAI^[7] 等，这些工具甚至支持在 CPU 机器上运行 LLM。优点是无需联网即可使用，并且能很好地保护代码隐私；缺点是需要每个开发人员都安装本地 LLM。

私有化服务

私有化服务本质上也是一种本地服务，但区别在于：开发人员无需自己安装 LLM，而是由开发团队统一部署 LLM 服务，然后开发人员通过 IDE 插件调用团队内部的 LLM 服务。这种方式既能保护代码隐私，又能提升团队开发效率——这正是我们今天要重点介绍的 Copilot 使用方式。

Llama3 部署

要用 Llama3 打造团队的私有 Copilot，首先得部署 Llama3。这里我们采用 vllm^[8] 来部署。vllm 是一个高效、易用的库，用于 LLM 的推理和服务提供，可以部署兼容 OpenAI API 的服务。相比同类产品，vllm 的主要特点是**吞吐率高、延迟低、速度快**。 首先下载 Llama3 的模型。Llama3 可以在 HuggingFace 上下载，但需要先提交申请，审批通过后使用 HuggingFace 的 CLI 命令下载。我们要下载的是 `Meta-Llama-3-8B-Instruct`^[9] 这个模型，命令如下： ``` huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --token YOUR_HF_TOKEN ``` 接着安装 vllm，通过 pip 安装： ``` conda create -n vllm python=3.9 -y conda activate vllm pip install vllm ``` 安装完成后，用 vllm 命令启动兼容 OpenAI 的 API 服务： ``` python -m vllm.entrypoints.openai.api_server \ --model meta-llama/Meta-Llama-3-8B-Instruct \ --gpu-memory-utilization 0.85 ``` `gpu-memory-utilization` 是 GPU 内存使用率，设置为 0.85 表示服务启动后会占用 85% 的 GPU 内存。 服务启动后，地址是 `http://localhost:8000`，可以通过 curl 命令验证： ``` curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "meta-llama/Meta-Llama-3-8B-Instruct", "messages": [ { "role": "user", "content": "Hello!" } ] }' # 返回示例 { "id": "cmpl-01cb80c24d4a4e32992b6328fbf09794", "created": 1714901485, "model": "meta-llama/Meta-Llama-3-8B-Instruct", "object": "chat.completion", "choices": [ { "finish_reason": "stop", "logprobs": null, "index": 0, "message": { "content": "Hello! It's nice to meet you. Is there something I can help you with, or would you like to chat?", "role": "assistant" } } ], "usage": { "prompt_tokens": 13, "completion_tokens": 26, "total_tokens": 39 } } ```

IDE 插件 Continue

服务端部署完成后，再来安装客户端。Continue^[10] 是一个帮助开发人员轻松创建模块化 AI 软件开发系统的 IDE 插件，支持 VSCode 和 JetBrains 等 IDE，具备代码生成、代码解释、AI 问答等 Copilot 常用功能。

插件安装

以 VSCode 为例，进入插件商店搜索 Continue 插件，点击安装即可：

修改配置

然后用快捷键打开插件配置文件：`cmd/ctrl + shift + P`，输入 `Continue config`，选择 `Open config.json`：

接着修改配置文件。Continue 默认使用 Ollama 做本地 LLM 部署，但我们已有自己部署的 LLM 服务，所以将 `models` 和 `tabAutocompleteModel` 的配置改为自己的服务地址： ``` "models": [ { "title": "llama3-8b", "model": "meta-llama/Meta-Llama-3-8B-Instruct", "apiBase": "http://your-llama3-api-host:8000/v1", "provider": "openai", "apiKey": "empty" } ] "tabAutocompleteModel": { "title": "Tab Autocomplete Model", "model": "meta-llama/Meta-Llama-3-8B-Instruct", "apiBase": "http://your-llama3-api-host:8000/v1", "provider": "openai", "apiKey": "empty" } ``` - `provider` 设为 `openai`，这里利用了 OpenAI 的配置格式 - `apiBase` 填写部署的 LLM 服务地址，注意加上最后的 `v1` 路径 - `model` 填写下载的 Llama3 模型 `meta-llama/Meta-Llama-3-8B-Instruct` - `apiKey` 可以随便填 - `title` 是插件中显示的模型名称 - `models` 属性用于 AI 问答和代码生成功能 - `tabAutocompleteModel` 属性用于代码补全功能 然后在 Continue 插件中选择模型 `llama3-8b`，即可开始使用：

使用介绍

先看 AI 问答功能，输入问题后 LLM 生成回答：

再看代码生成功能，选中代码后按住 `cmd/ctrl + I` 会弹出输入框，在输入框中让 LLM 帮我们完成方法：

接着是解释代码，选中代码后按住 `cmd/ctrl + L` 会将代码复制到问答框，输入问题后 LLM 根据代码回答：

生成单元测试也属于代码生成功能，操作相同：

更多用法可以参考官方文档^[11]。

注意事项

如果使用过程中发现 Llama3 的输出一直没有结束，可以在配置文件中添加 `completionOptions` 来修复： ``` { "title": "llama3-8b", "model": "meta-llama/Meta-Llama-3-8B-Instruct", "apiBase": "http://your-llama3-api-host:8000/v1", "provider": "openai", "apiKey": "empty", "completionOptions": { "stop": ["<|eot_id|>"] } } ``` 另外，除了 Llama3，还有其他开源 LLM 也适合作为代码辅助工具，比如 CodeQwen1.5-7B-Chat^[12] 就是一个不错的选择。

总结

用开源 LLM 作为团队的代码辅助工具，既能提高开发效率，又能保护代码隐私。虽然目前开源 LLM 相比 GitHub Copilot 等线上服务还有一定差距，但随着开源生态的持续发展，差距正在逐步缩小。以上就是今天分享的内容，希望对大家有所帮助。

参考:

[1] GitHub Copilot: *https://github.com/features/copilot* [2] Codeium: *https://codeium.com/* [3] CodeGeeX: *https://codegeex.cn/en-US* [4] CodeWhisperer: *https://aws.amazon.com/codewhisperer/* [5] 通义灵码: *https://tongyi.aliyun.com/lingma/* [6] Ollama: *https://ollama.com/* [7] LocalAI: *https://localai.io/* [8] vllm: *https://github.com/vllm-project/vllm* [9] Meta-Llama-3-8B-Instruct: *https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct* [10] Continue: *https://www.continue.dev/* [11] 官方文档: *https://docs.continue.dev* [12] CodeQwen1.5-7B-Chat: *https://huggingface.co/Qwen/CodeQwen1.5-7B-Chat*