HyperSAE: narzędzie mapujące wiedzę LLM w drzewa pojęć

Wyobraź sobie, że w końcu możesz zajrzeć do głowy modelu językowego i zobaczyć nie chaotyczną zupę liczb, lecz eleganckie drzewo pojęć, gdzie każda gałąź ma swoje miejsce i sens. HyperSAE robi dokładnie to, wykorzystując geometrię hiperboliczną do układania wiedzy LLM w hierarchiczne struktury, a wyniki na modelu Gemma-2-2B są imponujące: pokrycie cech sięga niemal 100%, bijąc standardowe podejścia o kilka punktów procentowych.

Tylko że "mapowanie wiedzy" modelu to jedno, a rozumienie, co ta mapa naprawdę oznacza i czy hierarchie wyłaniające się z matematyki odpowiadają czemukolwiek sensownemu dla człowieka, to zupełnie inna historia.

To streszczenie zostało przygotowane przy pomocy narzędzi AI na podstawie źródła. Pełną treść znajdziesz w oryginalnym artykule.