Cohere：开发RAG应用的工具包

项目简介

Cohere 开源了一款工具包，专门用来开发 RAG 应用。最大的亮点是支持一键部署到微软 Azure，也能在本地跑起来。如果你正在做检索增强生成相关的项目，这个工具包能省不少事。

在本地构建和运行

make setup

按照说明配置模型，选项包括 AWS Sagemaker、Azure 或 Cohere 的平台。有两种方式完成配置：一是运行 make setup（参见下面的选项 2），它会自动生成配置文件；二是手动创建 .env 文件，复制提供的 .env-template 模板，然后把正确的值填进去就行。

Cohere 平台

• COHERE_API_KEY
  ：如果应用需要与 Cohere 的 API 交互，就得提供这个 API 密钥。但要是用的 AWS Sagemaker 或 Azure，那就不需要了。注册地址是 https://dashboard.cohere.com/，用来生成 API 密钥。

• NEXT_PUBLIC_API_HOSTNAME
  ：前端和后端通信的 URL，默认值是 http://localhost:8000。

• DATABASE_URL
  ：PostgreSQL 数据库的连接字符串（用于 SQLAlchemy），格式要严格按照 postgresql+psycopg2://USER:PASSWORD@HOST:PORT 来写。

AWS Sagemaker

想把工具包和 AWS Sagemaker 一起用，首先得有个 Cohere 模型（命令版本），这个模型负责支撑 Sagemaker 里部署的聊天功能。按照 Cohere 的指南和笔记本部署命令模型，创建好端点，然后就能和工具包对接了。

接下来需要设置授权，详细步骤可以参考官方文档。工具包默认配置使用的是配置文件（设置完 aws configure sso 后），需要配置下面这些环境变量：

• SAGE_MAKER_REGION_NAME
  ：模型部署的区域。

• SAGE_MAKER_ENDPOINT_NAME
  ：笔记本里创建的端点名称。

• SAGE_MAKER_PROFILE_NAME
  ：你的 AWS 配置文件名称。

托管工具

• PYTHON_INTERPRETER_URL
  ：指向 Python 解释器容器的 URL，默认是 http://localhost:8080。

• TA VILY_API_KEY
  ：如果想启用互联网搜索功能，需要提供 Ta vily API 密钥。注意这个不是必须的。

本地部署

环境变量设置好之后，就能在本地部署 Toolkit 了！可以从 Github Artifact Registry 拉取 Docker 镜像，也可以从源代码构建。所有可用的命令都写在 Makefile 里。

• Docker
• Poetry
• Docker-compose >= 2.22

选项 1 - 使用 Docker 本地安装：

确保你的 shell 已经通过 GHCR 认证过了。

从 Github 的 Artifact Registry 拉取单个容器镜像：

docker pull ghcr.io/cohere-ai/cohere-toolkit:latest

然后在本地运行镜像：

docker run --name=cohere-toolkit -itd -e COHERE_API_KEY='Your Cohere API key here' -p 8000:8000 -p 4000:4000 ghcr.io/cohere-ai/cohere-toolkit

选项 2 - 从头开始本地构建：

选项 2.1 - 一次运行所有内容

运行 make first-run 启动 CLI，它会自动生成 .env 文件，执行所有数据库迁移，然后启动容器。

make first-run

选项 2.2 - 分别运行每个命令

先运行 make setup 启动 CLI，生成 .env 文件：

make setup

然后依次执行：

make migrate
make dev

如果没改过默认端口，打开浏览器访问 http://localhost:4000/ 就能和模型聊天了。

工具包中包含哪些内容？

这个存储库里的组件包括：

• src/interfaces/coral_web
  – 用 Next.js 构建的 Web 应用。内置了一个简单的 SQL 数据库，用来存储应用里的对话历史。

• src/backend
  – 包含预配置的数据源和检索代码，方便在自定义数据源（也就是“检索链”）上搭建 RAG。用户还可以自由选择要用的模型，支持托管在 Cohere 平台、Azure 和 AWS Sagemaker 上的 Cohere 模型。默认配置了一个 Langchain 数据检索器，用来在维基百科和你上传的文档上测试 RAG 效果。

项目链接

_{https://github.com/cohere-ai/cohere-toolkit}