Chaque modèle ci-dessous tourne dans le harness DimAgent. Les exécutions historiques auditées et les scores manuels nouvellement collectés sont indiqués par source. Les conditions et les limites sont précisées ; les champs non enregistrés restent vides.
Les suites historiques utilisent la meilleure exécution terminée par modèle ; FrontierHarness affiche modèle × effort, moyennes sur 3 exécutions. SWE-bench Verified et DeepSWE montrent les scores manuels actuels par modèle × effort. Les métriques ne sont pas comparables d’une suite à l’autre.
Seul FrontierHarness enregistre pour l’instant le coût et le temps ; les résultats sont des moyennes sur 3 exécutions, pas une comparaison équipe contre agent unique.
Tâches ouvertes, environnement fixe, exécutions reproductibles. Aucun prompt spécifique au classement — les modèles utilisent la même configuration au sein d’une suite ; runtime et effort peuvent varier d’une exécution historique à l’autre.
Sept suites couvrant le travail en terminal, sur documents, le code et les tâches frontière — 995 emplacements de tâches au total (pas nécessairement des tâches distinctes).
Chaque suite tourne sur le harness DimAgent, le modèle testé étant remplacé.
Des vérificateurs de tâches notent les suites historiques ; OfficeQA est noté avec tolérance. SWE-bench Verified et DeepSWE sont des synthèses de scores manuels sans artefacts bruts d’exécution ; seules les conditions enregistrées sont donc rapportées.
DimAgent route automatiquement chaque étape vers le bon modèle.
