Naukowcy zidentyfikowali strukturalne zakłócenie w uczeniu ze wzmocnieniem na podstawie ludzkiego feedbacku (RLHF): stan psychiczny anotatora podczas oceniania może wpływać na etykiety preferencji i propagować się przez modele nagrody. Proponują nowe ramy testowania tego źródła błędu.
Wyobraź sobie, że oceniasz odpowiedzi asystenta AI po wyczerpującym dyżurze albo po kłótni z sąsiadem. Czy Twoje opinie byłyby tak samo wyważone jak zwykle? Naukowcy postawili dokładnie to pytanie i odkryli coś, co może przewrócić do góry nogami sposób, w jaki myślimy o trenowaniu modeli językowych. Okazuje się, że stan psychiczny anotatora podczas pracy z danymi RLHF nie jest neutralnym szumem, który "się uśrednia". To strukturalne zakłócenie, które wnika w modele nagrody i stamtąd cicho kształtuje zachowanie całego systemu. Nowe ramy audytu pozwalają ten błąd wreszcie namierzyć i zbadać.
Brzmi jak przełom, prawda? Ale właśnie tu wchodzi trzeźwy głos z tyłu głowy. Skoro problem zidentyfikowano dopiero teraz, ile modeli już nosi w sobie ten ślad czyjejś złości, zmęczenia albo pośpiechu? Narzędzia do testowania tego błędu to dopiero początek drogi, a nie jej koniec. Pytanie, które naprawdę powinno nie dawać spokoju, brzmi: czy firmy technologiczne będą skłonne sięgnąć po te narzędzia, jeśli wyniki mogą zakwestionować modele, w które zainwestowały miliardy?
To streszczenie zostało przygotowane przy pomocy narzędzi AI na podstawie źródła. Pełną treść znajdziesz w oryginalnym artykule.
Co o tym myślisz?
Zaloguj się, aby dołączyć do dyskusji.
Zaloguj się do dzis.ai
Komentuj, zachowaj swoją passę, dołącz do dyskusji.
G Kontynuuj z Google