Badacze odkryli, że modele transformer mają trudności z generalizacją w zadaniach logicznego rozumowania, gdy napotkają nieznane zmienne. Przyczyną jest tzv. reprezentacyjny kolaps, gdzie wektory ostatniej warstwy nieznanych tokenów stają się prawie identyczne.
To streszczenie zostało przygotowane przy pomocy narzędzi AI na podstawie źródła. Pełną treść znajdziesz w oryginalnym artykule.
Co o tym myślisz?
Zaloguj się, aby dołączyć do dyskusji.
Zaloguj się do dzis.ai
Komentuj, zachowaj swoją passę, dołącz do dyskusji.
G Kontynuuj z Google