Zaznacz stronę
Czy LLM potrzebują czytelnego tekstu do skutecznego fine-tuningu?

Czy LLM potrzebują czytelnego tekstu do skutecznego fine-tuningu?

Badacze proponują metodę DASA, która wykorzystuje ciągłe syntetyczne embeddingi zamiast czytelnego tekstu do fine-tuningu dużych modeli językowych. Podejście opiera się na gradientach aktywacji zamrożonego modelu referencyjnego, pomijając wymóg lingwistycznej...
Wielowektorowe modele embeddingów z Sentence Transformers

Wielowektorowe modele embeddingów z Sentence Transformers

HuggingFace opisuje wielowektorowe modele embeddingów z późną interakcją (late interaction), które poprawiają jakość wyszukiwania semantycznego. Technika ta wykorzystywana jest m.in. w zaawansowanych systemach RAG i wyszukiwarkach opartych na AI.