首页 > 教程攻略 > ai资讯 >第三方应用如何访问ollama

第三方应用如何访问ollama

来源:互联网 时间:2026-07-30 13:57:29

很多人在本地跑大模型时,都会遇到一个尴尬的问题:Ollama 默认把模型文件塞在系统盘(Windows 下通常是 C 盘),而一个模型动不动就好几个 GB,C 盘空间很快就见红了。更无奈的是,你找不到一个直观的“设置”按钮来修改存储路径。其实,解决办法就在环境变量里。

模型所在磁盘空间不足了怎么办?

Windows

先看看 Ollama 的帮助信息,确认一下有哪些可调参数:

ollama.exe serve --help

返回的信息里,有一个关键的环境变量叫 OLLAMA_MODELS,它默认指向 ~/.ollama/models。只要把它改成你想放的路径,比如 D 盘下某个目录,Ollama 就会把模型存到新位置。配置方式有两种:一是在系统设置里添加用户变量或系统变量,二是在命令行里直接设置。

设置环境变量

命令行方式更直接:

set OLLAMA_MODELS=d:ollama

设置好之后,记得重启 Ollama 服务,新路径才会生效。

Linux 和 mac下

在 Linux 或 macOS 上,默认路径是 ~/.ollama/models,和 Windows 一样,通过环境变量 OLLAMA_MODELS 来修改。例如想挪到 /data/ollama 目录:

export OLLAMA_MODELS=/data/ollama

把这条命令加到 shell 配置文件(比如 .bashrc.zshrc)里,就不用每次手动设置了。

导出某个模型

有时候想把已下载的模型单独导出成 GGUF 文件,方便备份或迁移。以 qwen:7b 为例,先查看它的模型文件详情:

ollama show --modelfile qwen:7b

返回的信息里,FROM 行后面的路径就是模型文件的实际物理位置(一个 SHA256 哈希命名的 blob 文件)。比如在 macOS 上看到的是:

FROM /Users/m2max/.ollama/models/blobs/sha256-87f26aae09c7f052de93ff98a2282f05822cc6de4af1a2a159c5bd1acbd10ec4

把这个文件复制出来,重命名成 qwen_7b.gguf 就行:

cp /Users/m2max/.ollama/models/blobs/sha256-46bb65206e0e2b00424f33985a5281bd21070617ebcfda9be86eb17e6e00f793 qwen_7b.gguf

Windows 下的操作类似,先用 ollama.exe show --modelfile qwen:7b 查看路径,然后用 copy 命令导出:

copy C:Userssteven.ollamamodelsblobssha256-87f26aae09c7f052de93ff98a2282f05822cc6de4af1a2a159c5bd1acbd10ec4 qwen_7b.gguf

注意,导出的文件就是标准的 GGUF 格式,可以直接被其他推理框架使用。

如何导入模型

如何下载网上的某个模型

可以从 Hugging Face 或国内镜像站 hf-mirror.com 下载现成的 GGUF 格式模型(省去自己转换的麻烦)。以最近很火的 Octopus-v2 为例,搜索该模型名,找到带有 GGUF 标识的仓库,比如 这个链接,选择合适量化版本的 .gguf 文件下载即可。

手动下载模型

如何导入模型

下载好 GGUF 文件后,要把它变成 Ollama 可以识别的模型,需要准备一个 Modelfile。最简单的写法只需要一行:

From /path/to/qwen_7b.gguf

也可以更完整地使用从 ollama show 导出的模版,把其中的 FROM 路径替换成你自己的 GGUF 文件路径,并保留原有的 TEMPLATE 和 PARAMETER 设置。注意不同模型的 TEMPLATE 和 stop 参数可能不一样,如果搞不清楚,留空也没问题,Ollama 会使用默认值。

准备好 Modelfile 后,执行创建命令:

ollama create qwen:7b -f Modelfile

导入自己下载的模型

有个容易踩的坑:导入时,硬盘可用空间最好保持在模型大小的 2 倍以上。因为 ollama create 过程会先复制一份模型数据(transferring model data),然后生成一个新的模型层(creating model layer),最后才删除临时副本。如果空间不足,导入就会失败。

第三方应用如何访问ollama

Ollama 默认提供了一套兼容 OpenAI 的 API,这意味着很多支持 OpenAI 接口的工具(比如浏览器翻译插件)可以直接调用本地的 Ollama 模型。以沉浸式翻译为例,你需要设置环境变量 OLLAMA_ORIGINS 来允许跨域访问。

最省事的办法是允许所有来源:

OLLAMA_ORIGINS=*

不过要注意,这样做任何应用都能访问你的 Ollama 服务,如果对安全性有顾虑,可以只开放特定的 origin,比如浏览器扩展的协议前缀:http://,https://,chrome-extension://,safari-extension://,moz-extension://,ms-browser-extension://

设置好环境变量并重启 Ollama 后,在沉浸式翻译的配置里选择自定义 OpenAI API,填入地址 http://127.0.0.1:11434/v1,模型名填你导入的模型(比如 qwen:14b),就能在浏览器里直接体验本地翻译了。效果嘛,试试看,流畅度还不错。

沉浸式翻译配置ollama API

翻译效果