给大模型出的一套编程考题
BigCodeBench 是一套面向大模型的实践性代码任务基准与排行榜，官网首页开门见山：用实用且有挑战性的编程任务评估模型的编码能力。页面顶部挂着最新工作 SWE Arena 的公告，那是一个带实时代码执行的开放评测平台。榜单把各模型在同一套题目上的表现集中排开，读者打开首页就能直接看到分数，不必先翻论文再动手，评测工程师和模型发布方都能从这里找到起点。
深度介绍
BigCodeBench详细介绍
一千一百四十道题与一百五十道难题
题目分两个集合：完整集合含一千一百四十道任务，难题子集从中挑出约一百五十道更贴近真实使用、也更有挑战性的题。榜单给出 Hard、Full、Complete、Instruct 四行视图，其中 Complete 版本基于结构化长上下文的文档字符串考察编码能力，Instruct 版本则偏互动提示的检查。排名采用校准后的 Pass@1 贪心策略，同一页面还能按参数规模与耗时两种视角切换，并可勾选显示参数量未知的模型。
评分方法和数据来源都写在明处
在分数表之前，站点先列出九条说明：两个集合的规模、校准后的评分方式、两个变体的定义、指向 Hugging Face 榜单的链接、两处小图标提示、数据污染责任由使用方承担，以及标注开源程度的色标。绿心代表开放权重与开放数据，蓝心代表开放的监督微调数据，旁边还能按参数规模查看模型。把方法、边界和数据口径先讲清楚，读者再看分数会踏实得多。
同类榜单都在底部互链
榜单底部的 More Leaderboards 板块把同类评测排在一起：SWE Arena、EvalPlus、Spider 2.0、Chatbot Arena、CrossCodeEval、ClassEval、CRUXEval 等都能一键跳转，方便做横向对照。页面还给出综合理解的建议，把多个基准放在一起看，而不是只盯一张表。除 Hugging Face 的排行榜外，站点也与 MTEB、AlpacaEval 这类基准互相引用；页脚没有公司署名，社区属性一眼可见。
谁在用它，用在什么场合
常见用法有五类：模型横评时把各家分数放进同一张表，指令变体与完成变体之间的对照，开源数据集开放程度的审计，跨基准综述里引用它的口径，以及课堂上的案例讲解。读者群体覆盖评测工程师、代码模型发布方、研究与教学人员、选型采购者和开源社区开发者；想看总榜、想跑难题子集、想查数据污染标记、想比较参数规模，都能在同一页找到入口。
开源免费，入口都在这里
BigCodeBench 开源免费，榜单与题目公开访问，没有付费档位。读者可以从官网入口进入首页，从 Hugging Face 榜单互链跳到在线排行榜，也能查看站点提供的站点地图。站点本身很轻，首页约 67KB，榜单表格和说明文字占了大头，没有多余的营销内容，一次打开就能读到完整信息，想引用数据的研究者也能直接在页面上找到所需条目。
打开网页就能上手
上手路径很短：先打开官网首页，在 Hard 与 Full 之间挑一个集合看总分；再用 Complete 与 Instruct 两个变体对照模型在不同写法下的表现；最后切到参数规模或耗时视角，必要时勾选显示参数量未知的模型，再顺着页面底部的互链跳到 SWE Arena 或其他榜单继续比较。整个过程都在同一个页面上完成，跳到别的榜单也是同样的操作。
产品特点
核心功能与独有价值
方法先讲清，再看分数
分数表之前，站点先把两个集合的规模、评分方式、两个变体的定义和数据污染责任写在明处，读者先知道规则再看结果，跨模型对比时心里更有底。
全集与难题集两把尺
一千一百四十道题用来看整体水平，约一百五十道难题用来拉开差距，同一份榜单给出两个尺度，既方便横向比较，也能单独检验模型的上限在哪里。
开源程度一眼可辨
绿心代表开放权重与开放数据，蓝心代表开放的监督微调数据，扫一眼色标就知道模型的训练数据透不透明，做开源数据审计时不必再去别处翻找材料。
同类榜单都列在底部
SWE Arena、EvalPlus、Spider 2.0、Chatbot Arena 等同类评测集中在页面下方，想换一个基准验证结论，点一下就能跳过去，省下逐个搜索和比对来源的时间。
最近动态
重要更新
SWE Arena 开放评测平台公告
官网首页挂出最新工作的公告，向读者介绍 SWE Arena 这一带实时代码执行的开放评测平台；想跟进这条线的读者，可以继续留意官网公告与更新日志。
榜单前补充九条说明
站点在排名表前补齐九条说明：两个集合的规模、校准后的评分方式、完成与指令两个变体、Hugging Face 榜单链接、两处小图标提示、数据污染责任与开源色标，读者打开页面即可一次看清方法口径。
九月：页面信息与公开入口更新
本次更新补全了官网、论文说明页、Hugging Face 榜单、SWE Arena 公告与站点地图等公开入口，榜单标题句、四种题目行与九条说明都能在页面上直接查看；站点保持开源免费开放，读者从官网入口进入即可浏览全部内容。
产品总结
BigCodeBench 是面向大模型的实践性代码任务基准与排行榜，用一千一百四十道真实编程任务考察模型的编码能力，并另设约一百五十道难题子集用来拉开差距。榜单提供 Hard、Full、Complete、Instruct 四种题目行，配 Average 与 Recommendation 两行汇总；Complete 变体基于结构化长上下文的文档字符串考察编码能力，Instruct 变体偏互动提示的检查。排名采用校准后的 Pass@1 贪心策略，页面上还能按参数规模与耗时切换视角，也可以选择是否显示参数量未知的模型。 在分数表之前，站点先把九条说明摆出来：两个集合的规模、评分口径、两个变体的定义、指向 Hugging Face 榜单的链接、两处小图标提示、数据污染责任，以及标注开源程度的色标，绿心代表开放权重与开放数据，蓝心代表开放的监督微调数据。页面顶部挂着 SWE Arena 公告，那是带实时代码执行的开放评测平台；底部的 More Leaderboards 板块列出 SWE Arena、EvalPlus、Spider 2.0、Chatbot Arena、CrossCodeEval、ClassEval、CRUXEval 等同类榜单，方便读者跨基准对照，站点也与 MTEB、AlpacaEval 互相引用。 使用场景覆盖模型横评、指令变体对照、开源数据审计、跨基准综述与课堂引用，评测工程师、代码模型发布方、研究教学人员和选型采购都能找到对应入口。站点开源免费，榜单与题目公开访问，不设付费档位；上手只需打开官网首页，先挑一个集合看总分，再用两个变体做对照，最后切到排序视角并顺着互链跳到其他榜单，整个过程都在同一个页面上完成。
- 产品类型
- 面向大模型的实践性代码任务基准与排行榜
- 支持平台
- 网页版
- 资费模式
- 开源免费，榜单、题目与说明公开访问，不设付费档位。
核验信息
参考文章与数据来源
本页事实来自 BigCodeBench 官方主页与论文说明、Hugging Face 排行榜页面、SWE Arena 公告、站点地图、规则文件地址与组织头像图片：榜单标题句、四种题目行、九条说明中的集合规模与评分口径、More Leaderboards 板块的同类榜单链接，均取自上述公开页面。信息核对于 2026-10-04。
用户体验调查
BigCodeBench介绍页面对您是否有帮助？