Naukowcy opracowali system TRACER, który trenuje lekkie modele zastępcze na podstawie rzeczywistych danych z produkcji dużych modeli językowych. Pozwala to na znaczne zmniejszenie kosztów inferenceji, przesyłając część zapytań do tańszych modeli zamiast do pełnego LLM.
To streszczenie zostało przygotowane przy pomocy narzędzi AI na podstawie źródła. Pełną treść znajdziesz w oryginalnym artykule.
Co o tym myślisz?
Zaloguj się, aby dołączyć do dyskusji.
Zaloguj się do dzis.ai
Komentuj, zachowaj swoją passę, dołącz do dyskusji.
G Kontynuuj z Google