货拉拉AI一站式测评平台设计

业务背景

货拉拉成立于2013年，成长于粤港澳大湾区，是一家互联网物流公司，业务覆盖同城与跨城货运、企业版物流服务、搬家、汽车销售及车后市场。截至2023年6月，其业务版图已延伸至全球11个市场，覆盖中国及东南亚、南亚、南美洲等地区。在中国内地，货拉拉已深耕360座城市，月活司机达90万，月活用户更是跃升至1050万。

公开资料的不完全统计显示，截至2023年11月底，国内已有200多个大模型相继“落子”，在各行各业扎下根来。根据目标人群、用途和适用场景的不同，大模型市场主要分为通用大模型和垂直大模型两大类。

通用大模型聚焦基础层，主要攻克技术难关。它们对标ChatGPT，追求通用能力，百度的文心一言、阿里的通义千问、科大讯飞的星火大模型等均属此类。而垂直大模型则瞄准垂直领域的实际问题，以产品开发为目的。它们在通用大模型的基础上，训练出面向货运、金融、医疗、教育、养老、交通等特定行业的专用模型。

图为：弗若斯特沙利文发布的《AI大模型市场研究报告（2023）》对中国市场提供大模型产品服务的厂商进行了分析和评估。

海量通用大模型和垂直领域模型面前，怎么找到最适合货拉拉业务场景的那一个？在AI客服话术评测、AI智能数据分析评测、AI知识库评测等场景中，如何选出最契合货拉拉特定业务需求的AI基座？一个一站式的在线评测工具平台，自然是必不可少的。

由此，货拉拉AI一站式测评平台——

应运而生。它承载着“出-测-评”三位一体的智评能力。

拉拉智评介绍

平台目标是打造物流行业的领先评测平台，覆盖公司内所有评测场景，加速数智化转型进程。

AI应用赋能在公司内部已是百花齐放，但一个关键问题始终悬而未决：该用哪家的基座模型，并没有评测数据来支撑决策。在没有平台以前，评测是个“体力活”——得花大量精力整理评测集，再靠线下流程随机出题、回收数据、评估效果，效率低得令人头疼。如果还要跟上业界大模型快速迭代的节奏，老一套的运转方式显然无法满足公司快速赋能应用场景的诉求。

因此，通过对评测流程的系统抽象，产品架构最终落地如下：

定义项目空间，输出评测题库，确认评测分类 → 配置化接入AI答卷，随机组卷，自动答题 → 人工或AI自动评分 → 定义评测方法，通过拖拽配置，可视化呈现评测结果。

关键流程解释：

• 项目空间定义了评测的领域，收集当前评测空间内的题目，并按评测分类进行划分；分类下的题目再绑定对应的评分方法。
• 拉拉智评可以接入API评测源，既可以评测应用场景下AI应用的实际表现，也可以直接对比不同AI源的各维度表现。具体流程如下图所示：

• 可视化能力依托于大数据部门的云台产品，基于数据明细，可以自定义评测结果的展示方式：

技术架构设计

基于业务特性，技术架构的设计如下：

项目入口为Web，通过Kong网关转发到后端系统。

拉拉智评本质上是一个集出题、题目管理、试卷管理、考试、评测于一体的系统。因此，核心模型被封装起来，同时开放了独立的配置化能力。

评测平台是一个工具化平台，其可视化、权限管理以及推送机制都依赖于第三方能力。针对大模型评测场景，还需额外对接GPT网关，系统对GPT能力做了一次二次封装。

回到实际问题场景，系统在设计上需要满足这样几方面诉求：

通用配置体系

为了方便理解，通用配置体系的核心思路是：在各类自定义API中，解析出系统能够识别的字段。通过拆解项目内容，系统支持：

• 出题人配置化：可以通过接入第三方API，无缝融入当前系统的出题体系。
• 答卷人配置化：通过接入第三方API（如GPT3.5、GPT4.0），实现AI自动化答题。
• 评卷人配置化：通过接入第三方API，对答卷结果进行自动化评分。

下图是答卷人配置的一个示例：

数据空间隔离

权限分为

和。功能权限决定你能看到哪些模块、哪些页面；数据权限则决定你能看到哪些具体数据、能看到几条。

合理的权限划分，能避免功能绑定的混乱。在拉拉智评项目中，功能权限和数据权限的组合，分别对应评测各个环节的角色所能使用的系统功能范围和测评范围。设计一套便于理解的权限体系，是项目落地的关键。

这里面需要考虑的点包括：

• 角色权限划分：根据目前工作协同范围，角色包括出题人、测评人、评分人、管理员等，不同角色之间可以存在交集。
• 功能点细化：包括页面权限和接口权限，同时预留接口，防止过度集成。
• 数据权限定义：不同人员对应的数据权限等级不同，特殊项目可能只对特定角色或人员开放。

因此，系统集成了公司的UAC权限管理中心，通过合理设计功能权限和数据权限，以角色为桥梁，不同用户绑定对应角色来使用系统。实际效果是，不同权限的用户看到的首页完全不同，这些只需线上配置即可，前后端无需发版适配。

通用评测评估

不同评测任务下，评分规则必须灵活。在大模型评测场景下，智能研究院会从客观性、语言、分类等多维度对模型进行打分。但拉拉智评平台的设计初衷远不止于此，它同样适用于其他评测场景。这里需要考虑的点包括：

• 灵活配置评分分类：通过配置不同的评分类型，实现不同评测任务下的评分。
• 支持AI自动/人工评分：评测包含AI自动打分，但很多主观题仍然只能靠标注人员来完成。因此，系统也需要支持灵活的人工打分能力。
• 支持不同维度可视化打分结果：不同评测任务，观察评分结果的维度各不相同。这里我们依托公司的BI工具平台——

  云台
  来支撑，通过提供评测明细表，实现拖拽式配置可视化看板。

行业对比和展望

AI模型评测平台早已层出不穷。出名的当属Hugging Face，国内也有智源研究院的FlagEval天秤大模型评测平台。像ai-bot.cn这类AI工具网站的评测系统，也各有特色。

拉拉智评与这些平台相比，目前还只是起步阶段，需要补齐的能力还有很多。但相较于那些商业化模型评测平台，从设计角度看，它有如下几个突出优势：

• 安全性：题目录入后，所有数据流转都在公司网络内部完成，不存在数据泄露风险。涉及GPT调用的部分，也有安全过滤机制。
• 通用性：系统在设计之初，就更多地定位为一个通用评测平台。虽然它是在大模型评测机遇下孵化出来的，但从设计思路和功能复用的角度来看，同样可以评测非大模型场景。
• 可开发性：系统可以随时对接内部API能力，定制化周期极短。
• 领域特性：公司深耕货运领域，内部积累了大量的专业问答和语料。一个内部的评测系统，对领域问题进行针对性评测和收口，其意义远大于直接使用开源商业模型。

从规划上来看，产品的下一步大概可以分为几个方向：

• 补齐基础能力：系统已经覆盖了单一领域的AI出题，并实现了从题库、试卷、考试、评测到可视化的全流程配置化。下一步是模仿行业评测平台，补齐评测集合、模型部署、通用化评测标准等能力。
• 增强AI场景：除了评测大模型本身的能力，后续如何实现全流程AI出题、如何用AI评测其他日常任务，是将产品从“可用”推向“智能化”的关键一步。