Naukowcy wprowadzają protokół Seq@K, który mierzy zdolność modeli językowych do poprawiania odpowiedzi na podstawie kolejnych informacji zwrotnych po każdej nieudanej próbie. Istniejące metryki jak Pass@1 czy Pass@K nie uwzględniają tego jak modele uczą się z feedbacku.
Dotychczasowe metryki oceny modeli językowych działały jak egzamin bez poprawek: albo zdasz za pierwszym razem, albo nie. Seq@K zmienia reguły gry i pyta o coś znacznie ciekawszego: czy model potrafi wyciągnąć wnioski z błędów i poprawić odpowiedź po otrzymaniu feedbacku? To jak różnica między uczniem, który zakuwa na pamięć, a takim, który naprawdę rozumie materiał.
Brzmi jak przełom, ale warto zadać niewygodne pytanie: czy modele, które dobrze wypadną w Seq@K, faktycznie "uczą się" w sensowny sposób, czy tylko sprawniej odgadują, czego oczekuje ewaluator?
To streszczenie zostało przygotowane przy pomocy narzędzi AI na podstawie źródła. Pełną treść znajdziesz w oryginalnym artykule.
Co o tym myślisz?
Zaloguj się, aby dołączyć do dyskusji.
Zaloguj się do dzis.ai
Komentuj, zachowaj swoją passę, dołącz do dyskusji.
G Kontynuuj z Google