本地部署Perplexity 克隆:使用Llama 3.1实现高效搜索
OpenAI最近推出的Search GPT,说白了就是Perplexity的翻版,只不过这次是官方亲自下场。这事儿挺有意思——与其让第三方拿自己的模型套个壳再收费,不如自己来干。说实话,Perplexity那种做法一直让人有点皱眉头:号称做了很多优化,结果无非是把GPT-4和Google搜索结果拼在一起,然后收用户20美元。现在官方版一出来,之前那些喊着“Perplexity无可替代”的人,估计得重新掂量掂量了。
不过今天咱们不聊这个。这篇教程要告诉你的,是如何在本地电脑上搭建一个Perplexity的克隆版——用的是Llama 3.1,完全免费,本地运行,连网络都不用依赖。听起来有点酷?那就一步步来。
第一步:安装ollama
先搞定ollama。打开官网,下载对应系统的版本,安装完事。然后去模型页面,找到Llama 3.1,复制安装命令,粘贴到终端里,模型就会自动下载。安装完成后终端会显示一个聊天界面,随便发条消息试试看,确认它能正常工作。
第二步:安装embedding model
光有推理模型还不够,还得装一个嵌入模型(embedding model)。同样在ollama里操作,执行对应的安装命令。接下来下载Docker,按屏幕提示安装好——Perplexica需要靠Docker来运行。
第三步:克隆Perplexica仓库
Docker装好后,克隆Perplexica项目,按照readme文档配置。把下面这条命令粘到终端里,仓库就会克隆到本地。然后打开克隆的文件夹,把 sample.config.toml 文件重命名为 config.toml。
git clone https://github.com/ItzCrazyKns/Perplexica.git
Rename the sample.config.toml file to config.toml
docker compose up -d
第四步:创建Docker容器
重命名完成后,回到终端,进入克隆的文件夹,执行 docker compose up -d。这会创建一个Docker容器并启动它。完成后在浏览器中打开 http://localhost:3000,会看到一个页面——别慌,可能会报错。去设置里把Al API基URL填上正确的地址,保存后页面就正常了。
第五步:配置Perplexica
页面能打开还不算完,得配置才能用。进入设置,模型选
Llama 3.1
Ollama
使用Groq进行配置
如果不想在本地跑模型,又想保留Perplexica的界面,可以用Groq。Groq已经支持Llama 3.1 8B和70B模型,通过API免费使用(有速率限制但够用)。注册Groq Cloud,创建API key并复制。回到Perplexica设置,粘贴API key,把提供商改成
Groq
使用Together AI进行配置
想用更大的405B模型?搭配Together AI就行。它提供一些免费积分(之前25美元,现在降到5美元,也能跑差不多100次请求)。注册Together AI,拿到API key。回到Perplexica设置,把提供商改成
自定义OpenAI
总结
以上就是完全免费、本地化部署一个Perplexity克隆的全部步骤。说到底,Perplexity本质上就是一个LLM加上搜索引擎的封装。而Perplexica用的是开源的SearXNG作为搜索引擎,部署时直接自带,不用额外申请API,这一点非常省心。动手试试吧,你会发现这比想象的简单。
-
- 关于宇宙的好的网名有哪些
- 角色扮演 | 1
- 网名