SWE lenktynes su stendu reikia įvertinti gamybos požiūriu
Kodavimo agentų etalonai, tokie kaip SWE-bench, išlieka naudingais signalais, tačiau saugyklos kontekstas, saugumas ir peržiūros kokybė lemia gamybos vertę.
Konkurencija dėl SWE-bench ir susijusių kodavimo agentų vertinimų ir toliau pateikia matomą modelių leidimų rezultatų kortelę. Šie etalonai įvertina naudingas galimybes, ypač kai agentas turi suprasti problemą ir modifikuoti tikrą kodų bazę. Jie nevisiškai reprezentuoja įmonės aplinką. Privačios priklausomybės, neaiškūs reikalavimai, diegimo leidimai, saugos taisyklės ir pakeitimo peržiūros kaina gali smarkiai pakeisti rezultatą. Naudokite viešuosius etalonus, kad įtrauktumėte įrankius, tada paleiskite privatų vertinimo rinkinį, sukurtą iš reprezentatyvių bilietų. Išmatuokite priimtus ištraukimo užklausas, regresijas, praėjusį laiką ir žmogaus pastangas peržiūrėti.
SWE-bench, Coding agents, Benchmarks, Software engineering
Nederland, Netherlands, NL, TripleZero iT, AI
TripleZero iT, Nederland