SWE bench yarışının üretim odaklı değerlendirmeye ihtiyacı var
SWE-bench gibi kodlama aracısı kıyaslamaları yararlı sinyaller olmayı sürdürüyor ancak veri havuzu bağlamı, güvenlik ve inceleme kalitesi üretim değerini belirliyor.
SWE-bench ve ilgili kodlama aracısı değerlendirmeleri etrafındaki rekabet, model sürümleri için görünür bir puan kartı sağlamaya devam ediyor. Bu kıyaslamalar, özellikle bir aracının bir sorunu anlaması ve gerçek bir kod tabanını değiştirmesi gerektiğinde yararlı yetenekleri ölçer. Bir şirketin ortamını tam olarak temsil etmezler. Özel bağımlılıklar, belirsiz gereksinimler, dağıtım izinleri, güvenlik kuralları ve bir değişikliği incelemenin maliyeti, sonucu önemli ölçüde değiştirebilir. Araçları kısa listeye almak için genel karşılaştırmaları kullanın, ardından temsili destek taleplerinden oluşturulan özel bir değerlendirme paketini çalıştırın. Kabul edilen çekme isteklerini, regresyonları, geçen süreyi ve insan tarafından yapılan inceleme çabasını ölçün.
SWE-bench, Coding agents, Benchmarks, Software engineering
Nederland, Netherlands, NL, TripleZero iT, AI
TripleZero iT, Nederland