Gara e SWE-stol ka nevojë për vlerësim me mendje prodhimi
Standardet e agjentëve kodues si SWE-bench mbeten sinjale të dobishme, por konteksti i depove, siguria dhe cilësia e rishikimit përcaktojnë vlerën e prodhimit.
Konkurrenca rreth SWE-bench dhe vlerësimet përkatëse të agjentëve kodues vazhdojnë të ofrojnë një kartë rezultatesh të dukshme për lëshimet e modeleve. Këto standarde matin aftësitë e dobishme, veçanërisht kur një agjent duhet të kuptojë një problem dhe të modifikojë një bazë të vërtetë kodi. Ato nuk përfaqësojnë plotësisht mjedisin e një kompanie. Varësitë private, kërkesat e paqarta, lejet e vendosjes, rregullat e sigurisë dhe kostoja e rishikimit të një ndryshimi mund të ndryshojnë në mënyrë dramatike rezultatin. Përdorni standardet publike për të përzgjedhur mjetet, më pas drejtoni një grup privat vlerësimi të krijuar nga biletat përfaqësuese. Matni kërkesat e pranuara për tërheqje, regresionet, kohën e kaluar dhe përpjekjet njerëzore për rishikim.
SWE-bench, Coding agents, Benchmarks, Software engineering
Nederland, Netherlands, NL, TripleZero iT, AI
TripleZero iT, Nederland