一个最简单的部署大模型的方法，从此多一个code助手

手把手教你本地部署谷歌开源编程大模型CodeGemma

好久没关注语言大模型的最新进展了，最近谷歌开源了一款编程大模型CodeGemma-7B。别看它只有7B的参数规模，实际效果相当不错，而且原生支持中文。于是手痒部署了一个试试。

说实话，很多小白听到“部署大模型”就觉得门槛很高，会望而却步。其实没那么复杂，这次就推荐一个连小白都能轻松上手的部署方式，直接上干货。

工具

这次要用到的工具是Ollama，它同时支持macOS、Linux和Windows。我这次用的是Windows版本，所以就以Windows为例演示整个过程。

模型

谷歌这次开源的CodeGemma-7B，是在Gemma模型基础上专门针对编程场景微调训练的。Ollama已经原生支持该模型的下载和运行，同时还提供了量化版本。手头刚好有一块RTX 4080，显存够用，直接跑7B原版就行。实测下来，这个模型运行时占用的显存大约在7GB以上，所以理论上8GB显存就足够了。

安装

模型已经发布在Hugging Face上，感兴趣的同学可以自行查看。本次部署我们走Ollama路线，省心省力。

访问官方网址：
https://ollama.com/

点击下载按钮，选择Windows版本的exe安装包，直接双击安装即可。安装完成后，在应用程序里会看到一个羊驼图标，说明安装成功。

打开Windows自带的PowerShell（或者终端），输入以下命令：

ollama run codegemma:7b

第一次运行时，本地还没有模型文件，Ollama会自动开始下载。下载完成后就会自动进入交互式对话模式，非常方便。

效果展示

CodeGemma-7B支持几乎所有主流编程语言。我日常主要用Python，所以测试也以Python为主。

先来一个经典的快速排序：

基于python帮我写一个快速排序

模型响应速度很快，几秒钟就给出了完整的代码：

```python
def quick_sort(nums):
    def partition(left, right):
        pivot = nums[left]
        while left <= right:
            while left <= right and nums[left] < pivot:
                left += 1
            while left <= right and nums[right] > pivot:
                right -= 1
            if left <= right:
                nums[left], nums[right] = nums[right], nums[left]
                left += 1
                right -= 1
        return left

    def quick_sort_helper(left, right):
        if left < right:
            pivot_index = partition(left, right)
            quick_sort_helper(left, pivot_index - 1)
            quick_sort_helper(pivot_index, right)

    quick_sort_helper(0, len(nums) - 1)
    return nums
```

而且它还贴心地附上了使用方法和复杂度分析：

**使用方法：**
```python
nums = [64, 34, 25, 12, 22, 11, 90]
sorted_nums = quick_sort(nums)
print(sorted_nums)  # 输出：[11, 12, 22, 25, 34, 64, 90]
```

**时间复杂度：** O(n log n)，其中 n 是数组的长度。
**空间复杂度：** O(log n)，这是递归函数的深度。
**注意：**
* 该算法的平均时间复杂度为 O(n log n)，但最坏情况下时间复杂度为 O(n^2)。
* 该算法是稳定的排序算法。
* 该算法的空间复杂度为 O(log n)，这是递归函数的深度。

分析得相当到位，不仅给了代码，还附带关键参数说明，对开发者非常友好。

再来一个复杂一点的场景——用Gradio写一个前后端交互页面：

基于gradio帮我写一个页面，输入一段文本，后台处理后返回一张图片，并显示

模型同样很快给出了可运行的代码：

>>> 基于gradio帮我写一个页面，输入一段文本，后台处理后返回一张图片，并显示
```python
import gradio as gr
import cv2

def generate_image(text):
    # 在这里添加文本生成图片的逻辑，例如使用 OpenCV 库或其他图像生成库
    image = cv2.putText(np.zeros((224, 224, 3), np.uint8), text, (50, 100), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 255, 255), 2)
    return image

iface = gr.Interface(
    fn=generate_image,
    inputs="text",
    outputs="image",
)

iface.launch()
```

代码可以直接拿来用，稍微调整一下就可以适配自己的逻辑了。

从实际体验看，CodeGemma-7B在日常编程辅助场景下完全可以胜任，很多之前需要借助 ChatGPT或上网搜索才能解决的问题