utworzone przez Redakcja | wrz 30, 2026
Badacze zmierzyli koszt podziału tekstu na tokeny z granicami i bez nich, wykazując że standardowe granice zwiększają optymalną liczbę tokenów o 28–37%. Algorytm BPE plasuje się 10,9% powyżej nieograniczonego dolnego limitu.
utworzone przez Redakcja | kwi 21, 2026
Badacze z arXiv badają, jak struktury tokenizacji wpływają na generowanie obrazów. Odkrywają, że jednowymiarowe tokenizery z strukturą coarse-to-fine mogą być bardziej efektywne dla wyszukiwania podczas generowania niż tradycyjne siatki dwuwymiarowe.
