Todos os modelos abaixo correm dentro do harness do DimAgent. Execuções históricas auditadas e pontuações manuais recém-recolhidas são rotuladas por fonte. Condições e limites são declarados; campos não registados ficam em branco.
As suítes históricas usam a melhor execução concluída por modelo; o FrontierHarness usa modelo × effort, médias de 3 execuções. SWE-bench Verified e DeepSWE mostram pontuações manuais atuais por modelo × effort. As métricas não são comparáveis entre suítes.
Por agora, só o FrontierHarness regista custo e tempo; os resultados são médias de 3 execuções, não uma comparação equipa contra agente único.
Tarefas abertas, ambiente fixo, execuções reprodutíveis. Nenhum prompt específico para a classificação — os modelos usam a mesma configuração dentro de uma suíte; runtime e effort podem variar entre execuções históricas.
Sete suítes a cobrir trabalho de terminal, documentos, código e fronteira — 995 espaços de tarefa no total (não necessariamente tarefas distintas).
Cada suíte corre no harness do DimAgent com o modelo sob teste trocado.
Verificadores de tarefas avaliam as suítes históricas; o OfficeQA é avaliado com tolerância. SWE-bench Verified e DeepSWE são resumos de pontuações manuais sem artefactos brutos de execução, pelo que apenas condições registadas são reportadas.
O DimAgent encaminha automaticamente cada etapa para o modelo certo.
