●  DIMAGENT BENCH · V1.0

在真實工作中測量模型。

下面每個模型都執行在 DimAgent 測試框架內。歷史稽核執行與新收集的手動執行得分均按來源標註。條件與限制均有說明;未記錄的欄位留白。

更新於 995 任務槽位 7 基準套件 個模型
榜首每個套件各一位冠軍
01 / 排行榜

誰能真正把活做完。

歷史套件採用每個模型的最佳已完成執行;FrontierHarness 依模型 × effort 顯示 3 次執行的平均值。SWE-bench Verified 與 DeepSWE 顯示各模型 × effort 目前的手動執行得分。不同套件之間的指標不可相互比較。

資料來源:截至 2026-10-12 的稽核歷史 · 手動執行得分更新於 2026-10-13
02 / 效率

做得更多,花得更少。

目前只有 FrontierHarness 記錄成本與耗時;結果是 3 次執行的平均值,並非團隊對單 agent 的比較。

通過率與單次通過成本

越靠左上越好 · 記錄美元。

三次執行,同一設定。

3 次執行平均這 3 次中的最佳
單次通過成本 · high effort
$1.44 → $0.19
↘ 7.7×
通過率 · 3 次執行平均
40.0% → 51.1%
↗ +11.1 pts
03 / 方法論

我們怎麼評分。

開放任務、固定框架、可重現的執行。沒有針對榜單的提示詞——同一套件內各模型使用相同設定;歷史執行之間的執行環境版本與 effort 可能不同。

真實工作任務

七個套件涵蓋終端機、文件、程式碼與前沿工作——共 995 個任務槽位(不一定是互不相同的任務)。

  • Terminal-Bench 2.1——89 個任務 × 5 次嘗試
  • OfficeQA Pro——133 道題 · WorkBuddy——80 個程式碼 + 50 個辦公任務 × 3
  • FrontierHarness——凍結的 30 個任務(21 TB + 9 DeepSWE);SWE-bench Verified——500 個任務;DeepSWE v1.1——113 個任務(均為 k=1)。

同一個團隊,只換大腦

每個套件都跑在 DimAgent 框架上,把受測模型換入其中。

  • 同一套件內共用工具與任務沙箱
  • 有歷史紀錄處標註 effort、執行環境與日期
  • 未測過單 agent 基線

結果經過驗證

歷史套件由任務驗證器評分;OfficeQA 按容差評分。SWE-bench Verified 與 DeepSWE 是沒有原始執行工件的手動執行得分摘要,因此只報告已記錄的條件。

  • 未完成、復原與合併執行均已排除
  • 記錄的美元金額,非帳單(僅 FrontierHarness)
  • 資料來源:截至 2026-10-12 的稽核歷史;手動執行摘要更新於 2026-10-13。

把最強的模型招進你的團隊。

DimAgent 會自動把每一步路由到合適的模型。