SWE-bench Pro编程

xAI Grok 4.5 发布页图表；resolution rate，pass@1。SWE-bench Pro 是 SWE-bench 的高难度子集，选取需要跨文件修改、多步推理的复杂真实 GitHub issue。模型需基于代码仓库和 issue 描述生成补丁，通过 FAIL_TO_PASS 和 PASS_TO_PASS 测试验证。该基准评估 AI 解决真实软件工程难题的上限能力。

排行数据源

#模型得分

1

Claude Fable 5Anthropic

80.4%

2

Claude Mythos PreviewAnthropic

77.8%

3

Claude Opus 4.8Anthropic

69.2%

4

Qwen3.8-2.4T-A95B阿里巴巴

67.7%

5

Qwen3.8-Max阿里巴巴

67.7%

6

Grok 4.5xAI

64.7%

7

GPT-5.6 SolOpenAI

64.6%

8

Claude Opus 4.7Anthropic

64.3%

9

GPT-5.6 TerraOpenAI

63.4%

10

Claude Sonnet 5Anthropic

63.2%

共 55 个模型

返回基准目录