NL2Repo编程

temperature=1.0, top_p=1.0, max_new_tokens=48k, 400K 上下文, 反作弊检测NL2Repo（Natural Language to Repository）评估 AI 根据自然语言描述生成完整代码仓库的能力。模型需构建包含多文件、依赖管理、配置文件等的完整项目结构，是衡量 AI 从零搭建完整软件项目能力的创新基准。

排行数据源

#模型得分

1

Claude Opus 4.8Anthropic

69.7%

2

DeepSeek-V4-Pro-0813深度求索

61.5%

3

Claude Opus 4.7Anthropic

58.2%

4

Kimi K3月之暗面

58.0%

5

GLM-5.3智谱AI

58.0%

6

DeepSeek-V4-Flash-Vision-Exp深度求索

57.7%

7

GLM-5.3-Flash智谱AI

56.3%

8

Qwen3.8-Max阿里巴巴

55.9%

9

Qwen3.8-2.4T-A95B阿里巴巴

55.9%

10

DeepSeek-V4-Flash-0731深度求索

54.2%

共 37 个模型

返回基准目录