Zaznacz stronę
Indeks wrażliwości formatowania w benchmarkach LLM

Indeks wrażliwości formatowania w benchmarkach LLM

Badacze odkryli, że różne formaty promptów mogą drastycznie zmieniać wyniki modeli językowych, wprowadzając dwa nowe metryki FSI i PSI do pomiaru tej wrażliwości. Analiza 140 000 generacji pokazała ponad 30-krotne różnice między modelami.