Ο αγώνας SWE-πάγκου χρειάζεται αξιολόγηση με γνώμονα την παραγωγή

Τα σημεία αναφοράς παράγοντα κωδικοποίησης όπως το SWE-bench παραμένουν χρήσιμα σήματα, αλλά το περιβάλλον αποθήκευσης, η ασφάλεια και η ποιότητα αναθεώρησης καθορίζουν την αξία παραγωγής.

Ο ανταγωνισμός γύρω από τις αξιολογήσεις του SWE-bench και των σχετικών πρακτόρων κωδικοποίησης συνεχίζει να παρέχει μια ορατή κάρτα βαθμολογίας για εκδόσεις μοντέλων. Αυτά τα σημεία αναφοράς μετρούν χρήσιμες δυνατότητες, ειδικά όταν ένας πράκτορας πρέπει να κατανοήσει ένα ζήτημα και να τροποποιήσει μια πραγματική βάση κώδικα. Δεν αντιπροσωπεύουν πλήρως το περιβάλλον μιας εταιρείας. Ιδιωτικές εξαρτήσεις, ασαφείς απαιτήσεις, άδειες ανάπτυξης, κανόνες ασφαλείας και το κόστος ελέγχου μιας αλλαγής μπορούν να αλλάξουν δραματικά το αποτέλεσμα. Χρησιμοποιήστε δημόσια σημεία αναφοράς για τη σύντομη λίστα εργαλείων και, στη συνέχεια, εκτελέστε μια ιδιωτική σουίτα αξιολόγησης που δημιουργήθηκε από αντιπροσωπευτικά εισιτήρια. Μετρήστε τα αποδεκτά αιτήματα έλξης, τις παλινδρομήσεις, τον χρόνο που πέρασε και την ανθρώπινη προσπάθεια αναθεώρησης.