下面每個模型都執行在 DimAgent 測試框架內。歷史稽核執行與新收集的手動執行得分均按來源標註。條件與限制均有說明;未記錄的欄位留白。
歷史套件採用每個模型的最佳已完成執行;FrontierHarness 依模型 × effort 顯示 3 次執行的平均值。SWE-bench Verified 與 DeepSWE 顯示各模型 × effort 目前的手動執行得分。不同套件之間的指標不可相互比較。
目前只有 FrontierHarness 記錄成本與耗時;結果是 3 次執行的平均值,並非團隊對單 agent 的比較。
開放任務、固定框架、可重現的執行。沒有針對榜單的提示詞——同一套件內各模型使用相同設定;歷史執行之間的執行環境版本與 effort 可能不同。
七個套件涵蓋終端機、文件、程式碼與前沿工作——共 995 個任務槽位(不一定是互不相同的任務)。
每個套件都跑在 DimAgent 框架上,把受測模型換入其中。
歷史套件由任務驗證器評分;OfficeQA 按容差評分。SWE-bench Verified 與 DeepSWE 是沒有原始執行工件的手動執行得分摘要,因此只報告已記錄的條件。