谷歌开源Gemma，本地部署指南！

在动手使用 Gemma 这个谷歌开源的大语言模型之前，先花点时间搞清楚它到底是什么、配套工具有哪些，会省去不少弯路。

基本介绍

Gemma 是谷歌推出的轻量级、最先进的开放模型系列。它和 Gemini 同根同源——都基于 Google DeepMind 与内部团队的研究成果。名字取自拉丁语 "gemma"（意为“珍贵的石头”），足以看出谷歌对它的重视。

这次发布的 Gemma 不只是 2B 和 7B 两个规模，而是整整一套系列：经过预训练的变体、指令优化的变体，大大小小加起来超过 50 种。这些模型非常适合文本生成任务，比如问答、总结、推理。

配套工具也相当齐全：Keras 3.0（已集成 JAX、PyTorch、TensorFlow）可用于推理和监督微调；谷歌还提供了 Colab 和 Kaggle 笔记本快速部署代码，以及 HuggingFace 等平台的集成。上手门槛被压得很低。

基础性能

Gemma 和 Gemini 用的是同样的技术基础组件。谷歌很有底气地说 Gemini 是他们迄今为止最强大、功能最广泛的大语言模型。而 Gemma 7B 在关键基准测试中，明显超过了 Llama‑2 7B 和 13B——无论是科目问答、推理性能、数学能力还是代码能力，都领先不少。论文里的性能对比图如下：

（注：原文附性能图，此处保留图片位置与描述）

快速上手

在安装之前，先确认你的 C 盘剩余空间大于 20GB。然后根据电脑配置选择型号：8GB 显存跑 2B 问题不大，16GB 以上跑 7B 也没问题。

这次部署 Gemma，依然用大家熟悉的开源工具 Ollama。先进入 Ollama 的主页，点击下载按钮，进入下载页。

总共有 macOS、Linux、Windows 三个版本，根据你的系统选一个。我们以 Windows 为例：下载完成后会得到一个羊驼图标，双击 OllamaSetup.exe 安装（默认装在 C 盘），直接点 Install 一键搞定。

安装完成后，任务栏右下角会出现一个草泥马头像，代表安装成功。接下来打开 Windows 自带的 PowerShell（在搜索栏搜「powershell」即可）。

回到 Ollama 官网的模型页面，在模型列表中找到 Gemma，点进去。

进去后不要管 Overview，直接点 Tags。面对茫茫多的型号，怎么选？参考下面的对应关系：

• 2b 和 7b：参数数量，分别是 2 亿和 7 亿参数。
• instruct：针对特定指令或任务训练。
• text：专注处理文本数据。
• fp16：支持半精度浮点数，减少内存占用、提高效率。

每个型号后面的 q4_0、q4_1 等是不同迭代版本，比如 q4_1 就是 q4_0 的改进版。最简单的方法：直接选 latest 最新版。

在 PowerShell 里输入命令：

ollama run gemma

开始下载（无需魔法，但可能花点时间）。下载完成后，在 send a message 行就可以直接和 Gemma 对话了。

• 运行不同版本示例：
  ollama run gemma:2b 或 ollama run gemma:7b
• Gemma 默认下载到 C 盘。
• 按 Ctrl+D 退出 Gemma。
• 启动命令：ollama run gemma
• 查看已有模型列表：ollama list