Badacze przeanalizowali wpływ kwantyzacji 4-bitowej na modele Mixture-of-Experts, odkrywając że około 1/3 zniekształceń wynika z nieprawidłowego kierowania tokenów do ekspertów. Opracowali aparat przyczynowy do pomiaru tej frakcji szkód, nie proponując jednak nowych metod naprawy.
Modele Mixture-of-Experts to jak wielki urząd pełen wyspecjalizowanych urzędników: każdy token trafia do odpowiedniego eksperta, który go obsłuży. Badacze właśnie odkryli, że gdy ściskamy takie modele kwantyzacją 4-bitową, aż jedna trzecia wszystkich zniekształceń bierze się nie z utraty precyzji liczb, lecz z błędnego kierowania, czyli z tego, że tokeny lądują po prostu u niewłaściwego specjalisty. Do tego opracowali elegancki aparat przyczynowy, który pozwala tę frakcję szkód precyzyjnie zmierzyć.
I tu zaczyna się sęk: naukowcy świetnie widzą problem, ale nie proponują żadnego lekarstwa. Czy diagnoza bez recepty to naprawdę postęp, czy tylko bardzo precyzyjny opis tego, jak bardzo jesteśmy bezradni?
To streszczenie zostało przygotowane przy pomocy narzędzi AI na podstawie źródła. Pełną treść znajdziesz
Co o tym myślisz?
Zaloguj się, aby dołączyć do dyskusji.
Zaloguj się do dzis.ai
Komentuj, zachowaj swoją passę, dołącz do dyskusji.
G Kontynuuj z Google