아래 모든 모델은 DimAgent 하네스 안에서 실행됩니다. 감사된 과거 실행과 새로 수집된 수동 실행 점수는 출처별로 라벨이 붙습니다. 조건과 한계는 명시되며, 기록되지 않은 필드는 빈 칸으로 남습니다.
과거 스위트는 모델별로 완료된 최고의 실행을 사용합니다. FrontierHarness는 모델 × effort로 3회 실행 평균을 사용합니다. SWE-bench Verified와 DeepSWE는 모델 × effort별 현재 수동 실행 점수를 보여줍니다. 메트릭은 스위트 간에 비교할 수 없습니다.
현재 비용과 시간을 기록하는 것은 FrontierHarness뿐입니다. 결과는 3회 실행 평균이며, 팀 대 단일 에이전트 비교가 아닙니다.
공개된 작업, 고정된 하네스, 재현 가능한 실행. 리더보드 전용 프롬프트는 없습니다 — 스위트 안에서는 모든 모델이 같은 구성을 쓰며, 런타임과 effort는 역사적 실행마다 다를 수 있습니다.
터미널, 문서, 코드, 프론티어 작업을 다루는 7개 스위트 — 총 995개 작업 슬롯(서로 다른 작업일 필요는 없습니다).
각 스위트는 DimAgent 하네스 위에서 테스트 대상 모델로 교체해 실행됩니다.
과거 스위트는 작업 검증기가 채점하고, OfficeQA는 허용 오차로 채점합니다. SWE-bench Verified와 DeepSWE는 원시 실행 산출물이 없는 수동 실행 점수 요약이므로 기록된 조건만 보고됩니다.
DimAgent는 각 단계를 알맞은 모델로 자동 라우팅합니다.
