Setiap model di bawah ini berjalan di dalam harness DimAgent. Eksekusi historis teraudit dan skor manual yang baru dikumpulkan diberi label menurut sumbernya. Kondisi dan batasan dinyatakan; kolom yang tidak tercatat dibiarkan kosong.
Suite historis menggunakan eksekusi tuntas terbaik per model; FrontierHarness menggunakan model × effort, rata-rata 3 eksekusi. SWE-bench Verified dan DeepSWE menampilkan skor manual terkini per model × effort. Metrik tidak dapat dibandingkan antar suite.
Hanya FrontierHarness yang saat ini mencatat biaya dan waktu; hasilnya adalah rata-rata 3 eksekusi, bukan perbandingan tim vs agen tunggal.
Tugas terbuka, harness tetap, eksekusi yang dapat direproduksi. Tanpa prompt khusus papan peringkat — model memakai konfigurasi yang sama dalam satu suite; runtime dan effort dapat berbeda antar eksekusi historis.
Tujuh suite yang mencakup pekerjaan terminal, dokumen, kode, dan frontier — total 995 slot tugas (belum tentu tugas yang berbeda-beda).
Setiap suite berjalan di harness DimAgent dengan model yang diuji ditukar masuk.
Verifier tugas menilai suite historis; OfficeQA dinilai dengan toleransi. SWE-bench Verified dan DeepSWE adalah ringkasan skor manual tanpa artefak eksekusi mentah, sehingga hanya kondisi yang tercatat yang dilaporkan.
DimAgent mengarahkan setiap langkah ke model yang tepat secara otomatis.
