RouteLLM：一个用于服务和评估 LLM 路由器的框架。

01. 概述

大型语言模型（LLMs）确实能搞定很多任务，但成本和功能之间的取舍一直是道难题。从图1的性能与成本对比图就能看出来，通常越强的模型越贵。这在实际部署时就让人犯难了：把所有请求都甩给最强模型，质量是上去了，但钱&包撑不住；全用小模型吧，省是省了，可回答质量又可能掉线。怎么破？LLM路由提供了一种巧妙思路——让一个系统先处理每个查询，再决定把它丢给哪个模型。理想情况下，所有能被弱模型搞定的查询都走弱模型，剩下的才上强模型，这样既保质量又省钱。但问题来了：路由系统得提前猜出查询的“底细”和模型的能力，这并不简单。于是，RouteLLM应运而生，它是一个基于偏好数据的LLM路由框架，从数学上把路由问题拎清了，还探索了多种增强技术来提升路由器性能。我们用Chatbot Arena的公开数据训练了四种路由器，效果很能打：在MT Bench上成本降了超过85%，MMLU上降了45%，GSM8K上降了35%，而响应质量依然能达到GPT-4的95%——相当于花更少的钱，办差不多的事。

02. 核心特性

RouteLLM的核心功能很实在：
1. 可以直接当作OpenAI客户端的“即插即用”替代品，或者启动一个兼容OpenAI的服务器，把简单查询自动路由到更便宜的模型。
2. 带有开箱即用的预训练路由器，在MT Bench这类基准测试上能保持GPT-4 95%的性能，同时成本降低85%。
3. 基准测试还显示，这些路由器的性能与商业产品相当，但成本低了40%以上。
4. 框架扩展性强，可以轻松加入新路由器，并在多个基准上对比效果。

03. 安装

从PyPI安装：

pip install "routellm[serve,eval]"

从源码安装：

git clone https://github.com/lm-sys/RouteLLM.git
cd RouteLLM
pip install -e .[serve,eval]

1. https://github.com/lm-sys/RouteLLM?tab=readme-ov-file
2. https://arxiv.org/pdf/2406.18665