Zaznacz stronę
NVIDIA i Google obniżają koszty wnioskowania AI

NVIDIA i Google obniżają koszty wnioskowania AI

Google i NVIDIA zaprezentowały nową infrastrukturę A5X, która ma zmniejszyć koszty inferencji AI nawet dziesięciokrotnie. System łączy procesory NVIDIA Rubin z technologią sieciową Google Virgo i skaluje się do 80 tys. GPU.

TRACER: Inteligentny system routingu do efektywnej klasyfikacji LLM

Naukowcy opracowali system TRACER, który trenuje lekkie modele zastępcze na podstawie rzeczywistych danych z produkcji dużych modeli językowych. Pozwala to na znaczne zmniejszenie kosztów inferenceji, przesyłając część zapytań do tańszych modeli zamiast do pełnego...