General365 - 美团 LongCat 团队开源的通用推理评测基准

最近，大模型评测领域有个新动静。美团LongCat团队开源了一个名为General365的基准测试，专门用来“拷问”大模型的通用推理能力。结果有点出人意料：在覆盖八大推理维度的365道原创题及其变体面前，测试的26款主流大模型中，仅有Gemini 3 Pro的准确率勉强达到62.8%，绝大多数模型连60%的及格线都没过。这不禁让人想问，那些在学科竞赛中表现优异的模型，其通用逻辑思维真的过关吗？

General365的主要功能

这个基准之所以能产生如此有区分度的结果，源于其几个核心设计：

• 高多样性评测
  ：它包含了365道人工精心设计的种子题，并衍生出1095个变体。这些题目全面覆盖了复杂约束、分支枚举、时空推理、递归回溯、语义干扰、隐式信息、最优策略和概率不确定性这八大挑战维度，确保考察的全面性。

• 推理与知识解耦
  ：为了纯粹衡量逻辑能力，General365将题目背景知识严格限定在K-12（中小学）水平。这意味着，模型无法依靠庞大的专业知识库“蒙混过关”，必须真正展现其推理链条。

• 混合评分系统
  ：评分并非单一标准。对于数值题，采用math-verify工具进行解析验证；对于选择题和文本题，则引入GPT-4.1进行模型评分。这套混合系统的评分准确率经人工验证高达99.6%。

• 公开子集与隐藏测试集
  ：为防止数据污染导致模型“刷题”，基准采取了半公开策略。目前公开了180道种子题及其变体（共720题），其余题目则作为隐藏测试集，用于更真实的评估。

• 多模型横向评测
  ：它支持对OpenAI、Gemini、Anthropic、DeepSeek、Qwen、GLM、Kimi及LongCat自身等超过26款主流模型进行标准化横向对比，结果一目了然。

General365的技术原理

那么，这套基准是如何保证其科学性和有效性的呢？关键在于以下技术细节：

• 八大维度拆解通用推理
  ：团队首先将抽象的“通用推理”能力拆解为上述八个核心挑战类型。每道题目都至少对应其中一个维度，并且有近70%的题目同时具备两个以上的类别标签，确保了题目的复合性与挑战性。

• 避免模板化与死记硬背
  ：这是很多现有基准的痛点。General365通过t-SNE语义分布验证和Gemini 3 Pro的推理路径相似度评分，确保题目之间在逻辑上具有足够的独立性，有效防止模型通过记忆“解题模板”来获取高分。

• 难度过滤与人工审核
  ：题目生成并非一蹴而就。所有题目都经历了严格的难度过滤、多样性扩充、利用模型进行题目扩展，以及最终的人工审核把关，最终形成了1460道高质量题目池。

• 混合评分框架
  ：如前所述，针对不同题型（数值、选择、文本）采用规则验证与先进模型评分相结合的框架，在保证评分效率的同时，极大提升了准确性与可靠性。

General365的核心优势

与现有的诸多评测基准相比，General365的独特价值体现在哪里？

• 聚焦真实推理能力
  ：它不同于AIME、IMO等侧重于特定学科知识的竞赛题。General365专注于日常场景下的通用逻辑，直指当前大模型可能存在的“高分低能”短板——即擅长解答知识密集型问题，却在基础逻辑推理上栽跟头。

• 高区分度
  ：当大多数SOTA（最先进）模型得分仅在60%左右徘徊时，这个基准的区分度就显现出来了。它有效避免了像BBH（Big-Bench Hard）等基准出现的性能饱和问题，能够持续区分不同模型的能力层次。

• 经得起检验的多样性
  ：通过语义分布分析可见，General365的题目分布均匀分散，逻辑独立性显著高于BBH和BBEH（Big-Bench Extra Hard），这意味着它更难被“套路化”破解。

• 开源可复现
  ：项目在GitHub上提供了完整的评测代码，研究社区可以快速接入、复现结果并进行延伸研究，推动了评测的透明化和标准化。

General365的项目地址

对于想要深入了解或使用的开发者和研究者，可以通过以下渠道获取资源：

• 项目官网
  ：https://general365.github.io/

• GitHub仓库
  ：https://github.com/meituan-longcat/General365

• HuggingFace模型库
  ：https://huggingface.co/datasets/meituan-longcat/General365_Public

• arXiv技术论文
  ：https://arxiv.org/pdf/2604.11778

General365的同类竞品对比

为了更清晰地定位General365，我们将其与业界常用的两个硬核基准进行简要对比：

维度	General365	BBH (Big-Bench Hard)	BBEH (Big-Bench Extra Hard)
评测重点	通用推理（K-12 知识）	综合任务推理	高难度综合任务
题目数量	365 种子 + 1095 变体	23 项任务	多项任务扩展
多样性	极高（语义分布均匀，逻辑独立性强）	较低（存在明显聚集现象）	较低（模板化严重）
难度区分度	高（SOTA 仅 62.8%）	低（性能已饱和）	中等
评分方式	混合评分（规则+模型，准确率 99.6%）	规则评分为主	规则评分为主
数据公开策略	半公开（180 题公开 + 隐藏测试集）	全公开	全公开

General365的应用场景

这样一个高难度、高区分度的基准，具体能在哪些方面发挥作用？

• 大模型研发评测
  ：对于模型开发者而言，它是绝佳的“诊断工具”。可以精准识别模型在复杂约束、语义干扰、最优策略等特定维度的推理短板，从而进行有针对性的优化。

• 模型选型参考
  ：对于企业用户，在选择商用或开源模型时，General365的评测结果提供了超越简单问答能力的、更深层次的推理能力数据支撑，助力做出更明智的决策。

• 学术研究
  ：它为通用推理这一重要研究方向提供了标准化的评测工具和数据集，有助于推动大模型从“记忆型学科专家”向“思维型通用推理者”演进。

• 推理效率分析
  ：该基准还支持分析模型准确率与输出token数量之间的关系，从而评估模型在达成正确推理时的效率，为优化推理成本提供 insights。