Indeks wrażliwości formatowania w benchmarkach LLM

Badacze odkryli zjawisko, które może mieć istotny wpływ na sposób, w jaki ewaluujemy modele językowe. Okazuje się, że zmiana formatu promptu, czyli sposób sformułowania instrukcji dla AI, może drastycznie zmienić jego wyniki. Problem polega na tym, że różne modele wykazują bardzo różną wrażliwość na te zmiany formatowania.

Aby zmierzyć skalę tego zjawiska, naukowcy wprowadzili dwie nowe metryki: FSI (Format Sensitivity Index) i PSI (Prompt Sensitivity Index). Przeprowadzona analiza ponad 140 tysięcy generacji tekstu pokazała ponad 30-krotne różnice w wrażliwości między poszczególnymi modelami. Oznacza to, że dla niektórych systemów zmiana formatowania promptu ma wpływ marginalny, podczas gdy inne modele dają zupełnie odmienne odpowiedzi w zależności od tego, jak sformułujemy pytanie.

Odkrycie to ma duże znaczenie dla wiarygodności benchmarków oceniających modele AI. Jeśli wyniki mogą się tak drastycznie różnić w zależności od formatu, to porównywanie modeli na podstawie standardowych testów może być mylące. Badania sugerują, że należy bardziej gruntownie przeanalizować, jak formatowanie wpływa na dokładność pomiaru zdolności rzeczywistych modeli.

To streszczenie zostało przygotowane przy pomocy narzędzi AI na podstawie źródła. Pełną treść znajdziesz w oryginalnym artykule.