Cada modelo de abajo se ejecuta dentro del harness de DimAgent. Las ejecuciones históricas auditadas y las puntuaciones manuales recién recopiladas están etiquetadas por fuente. Las condiciones y los límites se declaran; los campos no registrados quedan en blanco.
Las suites históricas usan la mejor ejecución completada por modelo; FrontierHarness usa modelo × esfuerzo, medias de 3 ejecuciones. SWE-bench Verified y DeepSWE muestran puntuaciones manuales actuales por modelo × esfuerzo. Las métricas no son comparables entre suites.
Solo FrontierHarness registra por ahora coste y tiempo; los resultados son medias de 3 ejecuciones, no una comparación equipo contra agente único.
Tareas abiertas, entorno fijo, ejecuciones reproducibles. Sin prompts específicos para la clasificación: los modelos usan la misma configuración dentro de una suite; runtime y esfuerzo pueden variar entre ejecuciones históricas.
Siete suites que cubren trabajo de terminal, documentos, código y frontera — 995 espacios de tarea en total (no necesariamente tareas distintas).
Cada suite se ejecuta en el harness de DimAgent con el modelo bajo prueba intercambiado.
Los verificadores de tareas califican las suites históricas; OfficeQA se califica con tolerancia. SWE-bench Verified y DeepSWE son resúmenes de puntuaciones manuales sin artefactos de ejecución en bruto, por lo que solo se informan las condiciones registradas.
DimAgent enruta cada paso al modelo adecuado automáticamente.
