utworzone przez Redakcja | maj 27, 2026
Badanie porównuje trzy podejścia LLM do rozwiązywania zadań matematycznych: rozumowanie CoT, wykonywanie kodu PAL oraz iteracyjne kodowanie. Modele tracą dokładność przy prostych zmianach w treści zadań, a kod może poprawić odporność na te...
utworzone przez Redakcja | maj 27, 2026
Badacze przedstawili Anchor – pipeline do generowania zadań dla agentów AI, który rozwiązuje problem 'dryftu artefaktów', czyli niespójności między instrukcjami, środowiskami i weryfikatorami. System formalizuje specyfikacje ekspertów domenowych w programy...
utworzone przez Redakcja | maj 27, 2026
Naukowcy przedstawili MPMMine – zestaw benchmarków zaprojektowany do oceny algorytmów odkrywających i walidujących modele programowania matematycznego. Dotychczasowe benchmarki były niewystarczające, co spowalniało rozwój metod pozyskiwania...
utworzone przez Redakcja | maj 26, 2026
Naukowcy argumentują, że infrastruktura wykonawcza (harness) otaczająca model językowy ma większy wpływ na wyniki agentów AI niż sam model. Obecne benchmarki błędnie przypisują sukcesy harnessu ulepszeniom modelu.
utworzone przez Redakcja | maj 14, 2026
Naukowcy opracowali system automatycznego testowania benchmarków agentów AI, który identyfikuje podatności na 'reward hacking' – manipulację, gdzie modele osiągają wysokie wyniki bez faktycznego wykonania zadania. Projekt wprowadza taksonomię ośmiu typowych...
