开源医疗大模型排行榜: 健康领域大模型基准测试

医疗大模型：从潜力到现实的挑战与评估

大型语言模型（LLMs）在医疗领域的潜力有多大？看看GPT-3、GPT-4和Med-PaLM 2这些名字就知道——它们已经能理解医学文献、生成诊断建议、甚至参与临床对话。随着电子健康记录和病人数据的爆炸式增长，LLMs完全有希望帮助医生快速提取关键信息、做出更明智的决策。但问题在于：当模型给出了错误答案，后果可不像聊天机器人说错笑话那样能一笑而过。在医疗场景下，一个误解、一条不准确的信息，可能直接关系病人的治疗结果甚至生命安全。

• GPT-3
• GPT-4
• Med-PaLM 2

举个真实的例子：有人问GPT-3孕妇能用什么药，它一边正确指出四环素对胎儿有害，一边又错误地推荐了四环素。如果真按这个建议给药，可能导致胎儿骨骼发育异常。这种矛盾性的错误恰恰说明：医疗领域对模型的要求远高于通用领域——准确率不是加分项，而是生死线。

所以，要想让LLM在医疗中真正落地，必须针对医疗数据的特殊性来设计和评测模型。这不只是学术研究，而是现实医疗风险管理的刚需。开源医疗大模型排行榜（Open Medical LLM Leaderboard）正是为此而生——它提供了一个标准化平台，让不同模型在统一的医疗任务和数据集上接受检验，暴露优势与短板，从而推动更可靠、更有效的医疗大模型发展。

数据集、任务和评估设置

排行榜以准确度为核心指标，覆盖多个权威医疗问答数据集，看看模型到底能答对多少。

MedQA

这个数据集来自美国医学执照考试（USMLE），包含11450道训练题和1273道测试题，每道题有4到5个选项，专门测试模型是否具备行医所需的医学知识和推理能力。

• MedQA

MedMCQA

一个大规模的多项选择问答数据集，源自印度医学入学考试（AIIMS/NEET）。涵盖2400个医学主题和21个科目，训练集超过18.7万题，测试集6100题。每个问题4个选项并附带解释，用来评估模型的通用医学知识和推理水平。

• MedMCQA

PubMedQA

封闭领域的问答数据集，每个问题都配有PubMed摘要作为上下文，答案只有“是/否/也许”。一共1000个专家标注的问答对，训练集和测试集各500个。这个任务考验的是模型理解并推理科学生物医学文献的能力。

• PubMedQA

MMLU 子集 (医学和生物学)

MMLU基准包含来自多个学科的多项选择题。排行榜只筛选了与医学最相关的几个子集：临床知识（265题）、医学遗传学（100题）、解剖学（135题）、专业医学（272题）、大学生物学（144题）、大学医学（173题）。每个问题4个选项，重点评估模型在特定医学和生物领域的理解水平。

• MMLU 基准

• 临床知识: 265 个问题，评估临床知识和决策技能。

• 医学遗传学: 100 个问题，涵盖医学遗传学相关主题。

• 解剖学: 135 个问题，评估人体解剖学知识。

• 专业医学: 272 个问题，评估医疗专业人员所需的知识。

• 大学生物学: 144 个问题，涵盖大学水平的生物学概念。

• 大学医学: 173 个问题，评估大学水平的医学知识。每个 MMLU 子集都包含有 4 个答案选项的多项选择题，旨在评估模型对特定医学和生物领域理解。

这些数据组合在一起，构成了一个相当全面的医学知识推理评估体系。

洞察与分析

排行榜跑下来，有几个值得关注的现象：

• 商业模型（如GPT-4-base、Med-PaLM-2）在各数据集上始终获得高准确度，表现出跨领域的强劲性能。这一点不意外，毕竟它们有庞大的算力和数据支撑。

• 开源模型（如Starling-LM-7B、gemma-7b、Mistral-7B-v0.1、Hermes-2-Pro-Mistral-7B）虽然参数量只有70亿左右，但在部分数据集和任务上展现出了很有竞争力的性能。这说明小模型也能在某些特定任务上干大事。

• 商业和开源模型在PubMedQA（文献理解）和MMLU临床知识子集（临床决策）上普遍表现不错，看来这些任务对模型来说相对友好。

• Starling-LM-7B

• gemma-7b

• Hermes-2-Pro-Mistral-7B

谷歌的Gemini Pro在多领域表现稳健，尤其是在生物统计学、细胞生物学和妇产科等数据密集、流程性强的任务上成绩亮眼。但在解剖学、心脏病学和皮肤病学等关键领域，它的表现只是中等偏下，说明这些需要扎实医学知识的学科仍是模型需要重点补强的地方。

• Gemini Pro

提交你的模型以供评估

想把自己的模型送上排行榜接受检验？按这几个步骤来：

先把权重换成safetensors格式——加载更安全、更快，排行榜也能自动统计参数量。

用Transformers库的AutoClasses加载模型和分词器，确保能正常运行。直接用这段代码测试：

from transformers import AutoConfig, AutoModel, AutoTokenizer
config = AutoConfig.from_pretrained(MODEL_HUB_ID)
model = AutoModel.from_pretrained("your model name")
tokenizer = AutoTokenizer.from_pretrained("your model name")

如果跑不通，根据报错信息调试——多半是模型上传有问题。

排行榜只评估公开可访问的模型，私有模型就别想了。

目前不支持需要 use_remote_code=True 的模型，团队正在加这个功能，保持关注。

确认以上步骤都完成后，在排行榜网站点击“在此提交！”面板，填好模型名称、描述等信息，提交。团队会处理评估，分数会添加到排行榜中，方便与其他模型对比。

下一步是什么？扩展开源医疗大模型排行榜

排行榜不会止步于此，目标是持续扩展以适应研究社区和医疗行业的需求。重点方向包括：

1. 与研究人员、医疗组织和行业伙伴合作，纳入更广泛的医疗数据集——放射学、病理学、基因组学等领域的数据都要逐步覆盖。
2. 除了准确度，还要探索更多评估指标：点对点得分、捕获医疗应用独特需求的领域特定指标等，让评估更全面。
3. 在这个方向上已经有一些前期工作在进行。如果你有兴趣合作提出新的基准测试，欢迎联系——我们正在寻找头脑风暴的伙伴。

致谢

特别感谢Clémentine Fourrier和Hugging Face团队的支持。感谢Andreas Motzfeldt、Aryo Gema和Logesh Kumar Umapathi在排行榜开发过程中的讨论和反馈。衷心感谢爱丁堡大学的Pasquale Minervini教授提供的技术协助和GPU支持。

引用

如果你觉得我们的评估有用，请考虑引用我们的工作：

@misc{Medical-LLM Leaderboard,
author = {Ankit Pal, Pasquale Minervini, Andreas Geert Motzfeldt, Aryo Pradipta Gema and Beatrice Alex},
title = {openlifescienceai/open_medical_llm_leaderboard},
year = {2024},
publisher = {Hugging Face},
howpublished = "url{https://huggingface.co/spaces/openlifescienceai/open_medical_llm_leaderboard}"
}