Jedes Modell unten läuft in der DimAgent-Testumgebung. Historische, auditierte Durchläufe und neu erhobene manuelle Scores sind nach Quelle ausgewiesen. Bedingungen und Grenzen werden benannt; nicht erfasste Felder bleiben leer.
Historische Suiten verwenden den besten abgeschlossenen Durchlauf je Modell; FrontierHarness zeigt Modell × Effort als 3-Durchlauf-Mittel. SWE-bench Verified und DeepSWE zeigen aktuelle manuelle Scores je Modell × Effort. Metriken sind nicht über Suiten hinweg vergleichbar.
Derzeit erfasst nur FrontierHarness Kosten und Zeit; die Ergebnisse sind 3-Durchlauf-Mittel, kein Vergleich zwischen Team und Einzelagent.
Offene Aufgaben, feste Testumgebung, reproduzierbare Durchläufe. Kein auf das Ranking zugeschnittenes Prompting — innerhalb einer Suite nutzen die Modelle dieselbe Konfiguration; Runtime und Effort können sich über historische Durchläufe hinweg unterscheiden.
Sieben Suiten über Terminal-, Dokument-, Code- und Frontier-Arbeit — insgesamt 995 Aufgaben-Slots (nicht zwangsläufig unterschiedliche Aufgaben).
Jede Suite läuft auf der DimAgent-Testumgebung, in die das zu testende Modell eingewechselt wird.
Task-Verifier bewerten die historischen Suiten; OfficeQA wird mit Toleranz bewertet. SWE-bench Verified und DeepSWE sind manuelle Score-Zusammenfassungen ohne rohe Run-Artefakte, daher werden nur dokumentierte Bedingungen berichtet.
DimAgent leitet jeden Schritt automatisch an das richtige Modell weiter.
