utworzone przez Redakcja | sie 31, 2026
Badacze proponują zastosowanie teorii pomiaru Rascha (RMT) do analizy i poprawy systemów ewaluacji modeli językowych, umożliwiając wykrywanie błędów kalibracji i stronniczości oceniających.
utworzone przez Redakcja | sie 27, 2026
Google DeepMind zapoczątkował pilotażowy program podwójnie ślepych ewaluacji modeli AI – metodologii, która ma zapewnić obiektywniejszą ocenę systemów sztucznej inteligencji. To pierwsza tego typu inicjatywa na świecie.
utworzone przez Redakcja | sie 19, 2026
Badanie porównuje modele Claude Sonnet 5 z jawnie ustawionym wysokim reasoning effort i bez niego – wyższy effort kosztuje ok. 1 centa więcej za zapytanie, ale przynosi minimalny wzrost dokładności na testach matematycznych AIME 2026.
utworzone przez Redakcja | lip 25, 2026
Model Opus 5 od Anthropic osiąga gorsze wyniki w kodowaniu powyżej ustawienia 'high' – zaczyna wprowadzać zbędne refaktory. Wyższe ustawienia zwiększają też halucynacje o ok. 6% mimo lepszej ogólnej dokładności.
utworzone przez Redakcja | lip 24, 2026
Badanie pokazuje, że wielokrotne uruchamianie jednego modelu językowego z różnymi temperaturami ujawnia co najwyżej jeden wymiar struktury błędów, podczas gdy zróżnicowany zespół 24 modeli odkrywa cztery istotne wymiary – losowe próbkowanie jest epistemicznie...
