SWE-სკამს რბოლას სჭირდება წარმოების მოაზროვნე შეფასება
კოდირების აგენტის საორიენტაციო ნიშნები, როგორიცაა SWE-bench, რჩება სასარგებლო სიგნალებად, მაგრამ საცავის კონტექსტი, უსაფრთხოება და მიმოხილვის ხარისხი განსაზღვრავს წარმოების ღირებულებას.
კონკურენცია SWE-ს და მასთან დაკავშირებული კოდირების აგენტის შეფასებების ირგვლივ გრძელდება მოდელის გამოშვების თვალსაჩინო ქულების ბარათის უზრუნველსაყოფად. ეს კრიტერიუმები ზომავს სასარგებლო შესაძლებლობებს, განსაკუთრებით მაშინ, როდესაც აგენტმა უნდა გაიგოს საკითხი და შეცვალოს რეალური კოდების ბაზა. ისინი სრულად არ წარმოადგენენ კომპანიის გარემოს. პირადი დამოკიდებულებები, გაურკვეველი მოთხოვნები, განლაგების ნებართვები, უსაფრთხოების წესები და ცვლილების განხილვის ღირებულება შეიძლება მკვეთრად შეცვალოს შედეგი. გამოიყენეთ საჯარო კრიტერიუმები ინსტრუმენტების შერჩევისთვის, შემდეგ გაუშვით კერძო შეფასების ნაკრები, რომელიც შექმნილია წარმომადგენლობითი ბილეთებიდან. გაზომეთ მიღებული მოთხოვნები, რეგრესია, გასული დრო და ადამიანის განხილვის ძალისხმევა.
SWE-bench, Coding agents, Benchmarks, Software engineering
Nederland, Netherlands, NL, TripleZero iT, AI
TripleZero iT, Nederland