מירוץ הספסל של SWE זקוק להערכה מבוססת ייצור

התחרות סביב SWE-bench והערכות קשורות של סוכני קידוד ממשיכה לספק כרטיס ניקוד גלוי לשחרור מודלים. אמות מידה אלה מודדות יכולות שימושיות, במיוחד כאשר סוכן חייב להבין בעיה ולשנות בסיס קוד אמיתי. הם אינם מייצגים באופן מלא את הסביבה של חברה. תלות פרטית, דרישות לא ברורות, הרשאות פריסה, כללי אבטחה והעלות של סקירת שינוי יכולים לשנות את התוצאה באופן דרמטי. השתמש במדדים ציבוריים לרשימת כלים, ולאחר מכן הפעל חבילת הערכה פרטית הבנויה מכרטיסים מייצגים. מדוד בקשות משיכה מקובלות, רגרסיות, זמן שחלף ומאמץ ביקורת אנושי.