大模型常用评测基准汇总

提到大模型评测，大家可能首先想到各种眼花缭乱的榜单。其实，根据评测关注的维度，可以简单分成两大类：通用评测基准和具体评测基准。通用基准覆盖面广，试图从多个角度全面评估模型能力；而具体基准则聚焦单一维度，比如数学推理、对抗鲁棒性等，深挖模型在某方面的真实水平。

通用评测基准

通用评测基准，顾名思义，就是对大模型的语言理解、推理、知识掌握等各个方面进行“地毯式”扫描。它通常集合了多个数据集、多个任务，每个任务侧重点不同，最后汇总成一个综合评分，用来给模型排座次、定高低。

SuperCLUE

这是中文大模型领域绕不开的标杆——一个针对多轮开放领域对话的测评基准。它主要考察模型在三个维度的表现：基础能力（语义理解、逻辑推理、角色模拟等10项常见技能）、专业能力（覆盖中学到大学50多个学科，从数学物理到社会科学），以及中文特性能力（成语、诗歌、字形等10项极具中文特色的任务）。简单说，它就是想看看模型会不会“说人话”，尤其是说好中国话。

C-Eval

由上海交大、清华和爱丁堡大学联合打造的中文基础模型评估套件。它包含13948道多项选择题，涵盖52个学科，从人文社科到理工农医，难度分了四个等级。你可以把它理解成一套“中文版学科大考”，专门测试模型的知识面到底有多宽。

Open LLM Leaderboard

Hugging Face推出的公开排行榜，目前大模型领域最具权威的榜单之一。它收录了全球上百个开源大模型，评测任务覆盖阅读理解、逻辑推理、数学计算、事实问答等六大方向。具体来说，包括：

• AI2 Reasoning Challenge (25-shot)：小学科学题目，但别小看它，很多模型在这栽跟头。
• HellaSwag (10-shot)：常识推理数据集，人类觉得很简单，但对模型来说却是“地狱难度”。
• MMLU (5-shot)：多任务准确性标杆，覆盖基础数学、美国历史、计算机科学、法律等57项任务。
• TruthfulQA (0-shot)：专门测试模型会不会“撒谎”——更准确说，是测试模型输出事实真相的能力。

Chatbot Arena

由加州大学伯克利分校、圣地亚哥分校和卡内基梅隆大学联合创建的众包对战平台。你输入一个问题，两个匿名模型会各自生成答案，然后你（或其他用户）来评判哪个更好：模型A、模型B、平手、都很差。最终通过Elo评分系统给模型排位。OpenAI和Google都会直接引用这个榜单为自家模型背书，可见其影响力。

GLUE

这是自然语言理解领域的老牌基准，由纽约大学、华盛顿大学和DeepMind的研究者共同提出。它包含9项任务，覆盖语法判断（CoLA）、情感分析（SST-2）、句子复述判断（MRPC）、问题等价性（QQP）、语义相似度（STS-B）、自然语言推理（MNLI）、问答匹配（QNLI）、文本蕴含（RTE）、以及代词指代（WNLI）。每一项都在测试模型对语言细节的拿捏能力，堪称NLU领域的“全能五项”。

具体评测基准

如果说通用基准是“全科体检”，那么具体基准就是“专科深度检查”，专注于某一能力或某一场景。

MMLU（Massive Multitask Language Understanding）

由UC Berkeley在2020年推出，目前最著名的大模型语义理解测评之一。它整合了数学、物理、历史、法律、医学和伦理学等57个科目的测试题，既有基础语言理解，也有需要推理和解决问题的难题。相比其他基准，MMLU的广度和深度更强，能更全面地衡量模型的知识储备和推理能力。

AGI Eval

微软在2023年4月发布的评测基准，主要考察大模型在“以人为本”任务上的表现。它选取了20种面向普通人类考生的官方考试——包括高考、SAT、法学入学考试、数学竞赛、律师资格考试、国家公务员考试等。换句话说，就是让模型跟人类同台竞技，看它能不能通过标准化考试的检验。

GSM8K

OpenAI发布的数学推理能力评测，包含8500个中学水平的数学应用题。数据集比以往更大，语言更多样，题目也更具挑战性。虽然2021年就发布了，但时至今日，它依然是很多大模型难以逾越的障碍。

MT-bench

评估大模型在多轮对话和指令追随方面的能力。数据集包含80个高质量多轮问题（8个类别×10个问题），每个问题由6个知名模型（GPT-4、GPT-3.5、Claude-v1、Vicuna-13B等）回答，然后由人工排序得到3.3K对比较。它专门“刁难”模型在多轮对话中保持一致性、准确性的能力。

PromptBench

由微软研究院等机构开发的基准测试工具，目的是评估大模型对对抗性提示的鲁棒性。它通过字符级、单词级、句子级和语义级的文本攻击，模拟用户可能犯的错（比如错别字、同义词替换），看看这些微小扰动会不会让模型“失灵”。

总结

在众多评测集中，OpenAI和Google直接拿Chatbot Arena的结果当自家模型的“成绩单”。对于日常研究来说，如果想快速把握大模型的能力水平，关注Chatbot Arena的排行榜确实是最简单高效的方式。从最新榜单也能看出，国产大模型在SuperCLUE上表现可圈可点，但整体效果仍落后于国外前沿模型。这种差距不能简单归咎于某一原因，算力、算法、数据——各环节都还有很长的路要走。

征途漫漫，惟有奋斗。