Todos os modelos abaixo rodam dentro do harness do DimAgent. Execuções históricas auditadas e pontuações manuais recém-coletadas são rotuladas por fonte. Condições e limites são declarados; campos não registrados ficam em branco.
As suítes históricas usam a melhor execução concluída por modelo; o FrontierHarness usa modelo × effort, médias de 3 execuções. SWE-bench Verified e DeepSWE mostram pontuações manuais atuais por modelo × effort. As métricas não são comparáveis entre suítes.
Por enquanto, só o FrontierHarness registra custo e tempo; os resultados são médias de 3 execuções, não uma comparação time contra agente único.
Tarefas abertas, ambiente fixo, execuções reproduzíveis. Nenhum prompt específico para o ranking — os modelos usam a mesma configuração dentro de uma suíte; runtime e effort podem variar entre execuções históricas.
Sete suítes cobrindo trabalho de terminal, documentos, código e fronteira — 995 espaços de tarefa no total (não necessariamente tarefas distintas).
Cada suíte roda no harness do DimAgent com o modelo sob teste trocado.
Verificadores de tarefas avaliam as suítes históricas; o OfficeQA é avaliado com tolerância. SWE-bench Verified e DeepSWE são resumos de pontuações manuais sem artefatos brutos de execução, então apenas condições registradas são reportadas.
O DimAgent encaminha automaticamente cada etapa para o modelo certo.
