Badacze zmierzyli koszt podziału tekstu na tokeny z granicami i bez nich, wykazując że standardowe granice zwiększają optymalną liczbę tokenów o 28–37%. Algorytm BPE plasuje się 10,9% powyżej nieograniczonego dolnego limitu.
Wyobraź sobie, że pakujesz walizkę i ktoś każe ci zawsze składać koszule wzdłuż szwów, nawet jeśli zmieściłoby się ich więcej bez tego ograniczenia. Dokładnie tak działają granice tokenizacji w modelach językowych. Nowe badania pokazują czarno na białym: respektowanie standardowych granic słów kosztuje nas od 28 do 37% nadmiarowych tokenów, a popularny algorytm BPE wciąż odstaje od teoretycznego optimum o niemal 11%.
Brzmi jak zaproszenie do rewolucji w tokenizacji, prawda? Tylko że cały ekosystem modeli językowych jest głęboko zakorzeniony w tych "nieoptymalnych" metodach i nikt nie wie, czy zysk z lepszej kompresji nie zostanie pochłonięty przez koszt przepisania wszystkiego od zera.
To streszczenie zostało przygotowane przy pomocy narzędzi AI na podstawie źródła. Pełną treść znajdziesz w oryginalnym artykule
Co o tym myślisz?
Zaloguj się, aby dołączyć do dyskusji.
Zaloguj się do dzis.ai
Komentuj, zachowaj swoją passę, dołącz do dyskusji.
G Kontynuuj z Google