下面每个模型都运行在 DimAgent 测试框架内。历史审计运行与新收集的手动运行得分均按来源标注。条件与局限均有说明;未记录的字段留空。
历史套件采用每个模型的最佳已完成运行;FrontierHarness 按模型 × effort 展示 3 次运行的平均值。SWE-bench Verified 与 DeepSWE 展示各模型 × effort 当前的手动运行得分。不同套件之间的指标不可互相比较。
目前只有 FrontierHarness 记录成本与耗时;结果是 3 次运行的平均值,并非团队对单 agent 的比较。
开放任务、固定测试框架、可复现的运行。没有针对榜单的提示词——同一套件内各模型使用相同配置;历史运行之间的运行时版本与 effort 可能不同。
七个套件覆盖终端、文档、代码与前沿工作——共 995 个任务槽位(不一定是互不相同的任务)。
每个套件都跑在 DimAgent 框架上,把被测模型换入其中。
历史套件由任务校验器判分;OfficeQA 按容差判分。SWE-bench Verified 与 DeepSWE 是没有原始运行工件的手动运行得分汇总,因此只报告已记录的条件。