以下のすべてのモデルは、DimAgent ハーネス内で実行されます。監査済みの履歴実行と、新たに収集された手動実行スコアは、出所ごとにラベル付けされています。条件と限界は明記され、未記録のフィールドは空白のままです。
履歴スイートはモデルごとに完了した最良の実行を使用します。FrontierHarness はモデル × effort で 3 回実行の平均を表示します。SWE-bench Verified と DeepSWE は、モデル × effort ごとの現時点の手動実行スコアを示します。メトリクスはスイート間で比較できません。
現時点でコストと時間を記録しているのは FrontierHarness のみ。結果は 3 回実行の平均であり、チーム対単一エージェントの比較ではありません。
オープンなタスク、固定されたハーネス、再現可能な実行。リーダーボード専用のプロンプトは一切なし — スイート内ではどのモデルも同じ構成を使い、ランタイムと effort は歴史的な実行ごとに異なる場合があります。
ターミナル、ドキュメント、コード、フロンティアの作業をカバーする 7 つのスイート — 合計 995 のタスクスロット（必ずしも異なるタスクではありません）。
各スイートは DimAgent ハーネス上で、テスト対象モデルに入れ替えて実行されます。
履歴スイートはタスク検証器で採点し、OfficeQA は許容誤差で採点します。SWE-bench Verified と DeepSWE は生の実行アーティファクトを伴わない手動実行スコアの要約であり、記録済みの条件のみが報告されます。
DimAgent は各ステップを適切なモデルに自動でルーティングします。
