Zaznacz stronę
Czy LLM potrzebują czytelnego tekstu do skutecznego fine-tuningu?

Czy LLM potrzebują czytelnego tekstu do skutecznego fine-tuningu?

Badacze proponują metodę DASA, która wykorzystuje ciągłe syntetyczne embeddingi zamiast czytelnego tekstu do fine-tuningu dużych modeli językowych. Podejście opiera się na gradientach aktywacji zamrożonego modelu referencyjnego, pomijając wymóg lingwistycznej...