Badanie pokazuje, że wielokrotne uruchamianie jednego modelu językowego z różnymi temperaturami ujawnia co najwyżej jeden wymiar struktury błędów, podczas gdy zróżnicowany zespół 24 modeli odkrywa cztery istotne wymiary – losowe próbkowanie jest epistemicznie płytkie.
Wyobraź sobie, że chcesz sprawdzić, jak bardzo lekarz jest niepewny diagnozy, i zamiast zapytać kilku specjalistów, pytasz tego samego lekarza raz po raz, licząc, że za którymś razem powie coś innego. Dokładnie tak działa popularna sztuczka "różnych temperatur" w modelach językowych, a nowe badanie właśnie pokazuje, że to epistemiczne złudzenie: wielokrotne próbkowanie jednego modelu odsłania zaledwie jeden wymiar jego błędów, podczas gdy zróżnicowany zespół kilkudziesięciu modeli ujawnia ich aż cztery.
Brzmi jak argument za budowaniem coraz większych ensembles, ale tu właśnie zaczyna się sceptyczny dreszcz: skoro potrzebujemy dziesiątek różnych modeli, żeby naprawdę zmierzyć niepewność, to ile nas to kosztuje obliczeniowo i czy zwykły użytkownik kiedykolwiek będzie miał do tego dostęp, czy ta wiedza pozostanie przywilejem największych graczy?
Co o tym myślisz?
Zaloguj się, aby dołączyć do dyskusji.
Zaloguj się do dzis.ai
Komentuj, zachowaj swoją passę, dołącz do dyskusji.
G Kontynuuj z Google