utworzone przez Redakcja | wrz 30, 2026
Badacze zmierzyli koszt podziału tekstu na tokeny z granicami i bez nich, wykazując że standardowe granice zwiększają optymalną liczbę tokenów o 28–37%. Algorytm BPE plasuje się 10,9% powyżej nieograniczonego dolnego limitu.
