MMLU-Pro

MMLU 升级版, 更难的 12000+ 道题MMLU-Pro 是 MMLU 的增强版，由多伦多大学等单位于 2024 年提出。通过增加选项数量（由 4 个增至 10 个）、过滤掉容易被猜对的题目并增加推理类问题，使基准难度大幅提升，更可靠地区分模型性能。GPT-4 准确率从 MMLU 的 86% 降至约 60-70%。

推理官方网站

#	模型	得分 (%)	厂商	来源
1	Gemini 3.1 Pro	91	Google	DeepSeek-V4-Pro 技术报告
2	Gemini 3 Pro	90.1	Google	GLM-4.7 技术报告
3	Claude Opus 4.6	89.7	Anthropic	Qwen3.7-Plus 技术报告
4	Qwen3.7-Max	89.6	阿里巴巴	Qwen3.7-Max 技术报告
5	Claude Opus 4.5	89.5	Anthropic	Qwen3.6-27B 技术报告
6	Qwen3.6-Plus	88.5	阿里巴巴	Qwen3.7-Plus 技术报告
7	Qwen3.7-Plus	88.5	阿里巴巴	Qwen3.7-Plus 技术报告
8	Qwen3.5-397B-A17B	88.3	阿里巴巴	Nemotron-3-Ultra 技术报告
9	Claude Sonnet 4.5	88.2	Anthropic	GLM-4.7 技术报告
10	Kimi-K2.6	88.1	月之暗面	Nemotron-3-Ultra 技术报告

返回

MMLU-Pro

MMLU 升级版, 更难的 12000+ 道题MMLU-Pro 是 MMLU 的增强版，由多伦多大学等单位于 2024 年提出。通过增加选项数量（由 4 个增至 10 个）、过滤掉容易被猜对的题目并增加推理类问题，使基准难度大幅提升，更可靠地区分模型性能。GPT-4 准确率从 MMLU 的 86% 降至约 60-70%。

推理官方网站

#	模型	得分 (%)	厂商	来源
1	Gemini 3.1 Pro	91	Google	DeepSeek-V4-Pro 技术报告
2	Gemini 3 Pro	90.1	Google	GLM-4.7 技术报告
3	Claude Opus 4.6	89.7	Anthropic	Qwen3.7-Plus 技术报告
4	Qwen3.7-Max	89.6	阿里巴巴	Qwen3.7-Max 技术报告
5	Claude Opus 4.5	89.5	Anthropic	Qwen3.6-27B 技术报告
6	Qwen3.6-Plus	88.5	阿里巴巴	Qwen3.7-Plus 技术报告
7	Qwen3.7-Plus	88.5	阿里巴巴	Qwen3.7-Plus 技术报告
8	Qwen3.5-397B-A17B	88.3	阿里巴巴	Nemotron-3-Ultra 技术报告
9	Claude Sonnet 4.5	88.2	Anthropic	GLM-4.7 技术报告
10	Kimi-K2.6	88.1	月之暗面	Nemotron-3-Ultra 技术报告