Naukowcy wprowadzają BuggyMLE i wskaźnik CCI do mierzenia trudności zadań inżynierii uczenia maszynowego. Benchmark testuje agentów AI w realistycznych scenariuszach z pełnym dostępem do repozytoriów kodu.
Naukowcy postanowili wreszcie sprawdzić, czy agenty AI naprawdę radzą sobie z brudną robotą inżynierów ML, i stworzyli do tego celu BuggyMLE. Benchmark zanurza wirtualnych asystentów w realistycznych repozytoriach kodu, a nowy wskaźnik CCI pozwala precyzyjnie mierzyć, jak bardzo każde zadanie jest "nie do ogryzionia". To jak poligon zamiast piaskownicy, prawdziwy kod, prawdziwy chaos.
Tylko że warto zapytać: kto i jak wybrał te "realistyczne scenariusze", i czy benchmark nie stanie się kolejną grą, którą modele po prostu nauczą się wygrywać, zamiast faktycznie rozwiązywać problemy inżynierskie?
To streszczenie zostało przygotowane przy pomocy narzędzi AI na podstawie źródła. Pełną treść znajdziesz w oryginalnym artykule.


Co o tym myślisz?
Zaloguj się, aby dołączyć do dyskusji.
Zaloguj się do dzis.ai
Komentuj, zachowaj swoją passę, dołącz do dyskusji.
G Kontynuuj z Google