●  DIMAGENT BENCH · V1.0

在真实工作中测量模型。

下面每个模型都运行在 DimAgent 测试框架内。历史审计运行与新收集的手动运行得分均按来源标注。条件与局限均有说明;未记录的字段留空。

更新于 995 任务槽位 7 基准套件 个模型
榜首每个套件各一位冠军
01 / 排行榜

谁能真正把活做完。

历史套件采用每个模型的最佳已完成运行;FrontierHarness 按模型 × effort 展示 3 次运行的平均值。SWE-bench Verified 与 DeepSWE 展示各模型 × effort 当前的手动运行得分。不同套件之间的指标不可互相比较。

数据来源:截至 2026-10-12 的审计历史 · 手动运行得分更新于 2026-10-13
02 / 效率

做得更多,花得更少。

目前只有 FrontierHarness 记录成本与耗时;结果是 3 次运行的平均值,并非团队对单 agent 的比较。

通过率与单次通过成本

越靠左上越好 · 记录美元。

三次运行,同一配置。

3 次运行平均这 3 次中的最佳
单次通过成本 · high effort
$1.44 → $0.19
↘ 7.7×
通过率 · 3 次运行平均
40.0% → 51.1%
↗ +11.1 pts
03 / 方法论

我们怎么评分。

开放任务、固定测试框架、可复现的运行。没有针对榜单的提示词——同一套件内各模型使用相同配置;历史运行之间的运行时版本与 effort 可能不同。

真实工作任务

七个套件覆盖终端、文档、代码与前沿工作——共 995 个任务槽位(不一定是互不相同的任务)。

  • Terminal-Bench 2.1——89 个任务 × 5 次尝试
  • OfficeQA Pro——133 道题 · WorkBuddy——80 个代码 + 50 个办公任务 × 3
  • FrontierHarness——冻结的 30 个任务(21 TB + 9 DeepSWE);SWE-bench Verified——500 个任务;DeepSWE v1.1——113 个任务(均为 k=1)。

同一个团队,只换大脑

每个套件都跑在 DimAgent 框架上,把被测模型换入其中。

  • 同一套件内共享工具与任务沙箱
  • 有历史记录处标注 effort、运行时与日期
  • 未测过单 agent 基线

结果经过验证

历史套件由任务校验器判分;OfficeQA 按容差判分。SWE-bench Verified 与 DeepSWE 是没有原始运行工件的手动运行得分汇总,因此只报告已记录的条件。

  • 未完成、恢复与合并运行均已排除
  • 记录的美元金额,非账单(仅 FrontierHarness)
  • 数据来源:截至 2026-10-12 的审计历史;手动运行汇总更新于 2026-10-13。

把最强的模型招进你的团队。

DimAgent 会自动把每一步路由到合适的模型。