СВЕ-бенцх трци је потребна евалуација оријентисана на производњу

Конкуренција око СВЕ-бенцх и сродних процена агената за кодирање наставља да пружа видљиву таблицу резултата за издања модела. Ови бенчмаркови мере корисне могућности, посебно када агент мора да разуме проблем и модификује стварну базу кода. Они не представљају у потпуности окружење компаније. Приватне зависности, нејасни захтеви, дозволе за примену, безбедносна правила и трошкови прегледа промене могу драматично да промене резултат. Користите јавна мерила за ужи избор алата, а затим покрените приватни пакет за процену направљен од репрезентативних улазница. Измерите прихваћене захтеве за повлачењем, регресије, протекло време и напор људи за преглед.