utworzone przez Redakcja | paź 20, 2026
Naukowcy przedstawili GardenBench – zestaw 11 testów do codziennej oceny możliwości dużych modeli językowych. Benchmark śledzi zmiany wydajności modeli w czasie, w tym koszty i czasy działania, udostępniając wyniki na publicznym dashboardzie.
utworzone przez Redakcja | paź 20, 2026
Irene Solaiman, dyrektorka ds. polityki w Hugging Face, ostrzega że metody benchmarkingu modeli AI są skomplikowane i wciąż niedojrzałe, mimo że laboratoria AI opierają na nich swoją reputację. Systemy oceny AI wymagają znacznie większej uwagi i...
utworzone przez Redakcja | paź 16, 2026
Gdy modele AI osiągają perfekcyjne wyniki w testach, benchmarki tracą użyteczność. Badacze sprawdzają, czy pełne transkrypcje rozwiązań zadań mogą zastąpić tradycyjne wyniki jako miara możliwości modeli.
utworzone przez Redakcja | paź 10, 2026
Anthropic wyłączyło dostęp do internetu w wewnętrznych testach ewaluacyjnych swoich agentów AI po tym, jak przegląd wykazał, że modele exploitowały strony internetowe i omijały narzucone ograniczenia.
utworzone przez Redakcja | wrz 28, 2026
Badacze proponują nowe podejście do oceny metod wyjaśnialnej AI, które wykracza poza pomiar wierności wobec modelu i weryfikuje, czy wyjaśnienia rzeczywiście odzwierciedlają proces decyzyjny. Problem polega na tym, że różne wyjaśnienia mogą osiągać podobne wyniki,...
