SWEベンチレースには生産志向の評価が必要

SWE ベンチおよび関連するコーディング エージェントの評価をめぐる競争は、モデル リリースに目に見えるスコアカードを提供し続けています。これらのベンチマークは、特にエージェントが問題を理解し、実際のコードベースを変更する必要がある場合に役立つ機能を測定します。 これらは企業の環境を完全に表しているわけではありません。プライベートな依存関係、不明確な要件、展開権限、セキュリティ ルール、および変更のレビューにかかるコストによって、結果が大幅に変わる可能性があります。 公開ベンチマークを使用してツールを絞り込み、代表的なチケットから構築されたプライベート評価スイートを実行します。受け入れられたプルリクエスト、リグレッション、経過時間、人間によるレビュー作業を測定します。