Precyzja FP16 odkrywa ukryte problemy w optymalizacji transformerów

Badacze odkryli, że cachowanie KV w modelach językowych przy precyzji FP16 prowadzi do deterministycznych różnic w wynikach, niszcząc założenie o numerycznej równoważności. Problem pojawia się we wszystkich testowanych modelach bez względu na strategię próbkowania.

To streszczenie zostało przygotowane przy pomocy narzędzi AI na podstawie źródła. Pełną treść znajdziesz w oryginalnym artykule.