utworzone przez Redakcja | lip 13, 2026
Naukowcy stworzyli benchmark testujący agentów AI na 46 złożonych, długoterminowych zadaniach terminalowych z gęstymi sygnałami nagrody. Narzędzie ocenia nie tylko końcowy wynik, ale też postępy pośrednie agenta.
utworzone przez Redakcja | lip 9, 2026
AgentLens to nowy benchmark do oceny agentów AI piszących kod, który analizuje całą trajektorię działania agenta – nie tylko końcowy wynik. Łączy formalną weryfikację z recenzjami generowanymi przez LLM, dostarczając czytelnych wyjaśnień ocen.
utworzone przez Redakcja | cze 4, 2026
EVA-Bench Data 2.0 to nowy zestaw danych benchmarkowych obejmujący 3 domeny, 121 narzędzi i 213 scenariuszy, służący do oceny modeli AI. Projekt opublikowany na platformie HuggingFace rozszerza możliwości testowania agentów sztucznej inteligencji.
utworzone przez Redakcja | maj 26, 2026
Naukowcy argumentują, że infrastruktura wykonawcza (harness) otaczająca model językowy ma większy wpływ na wyniki agentów AI niż sam model. Obecne benchmarki błędnie przypisują sukcesy harnessu ulepszeniom modelu.
utworzone przez Redakcja | kwi 24, 2026
Naukowcy stworzyli benchmark ThermoQA zawierający 293 problemy termodynamiczne do oceny zdolności dużych modeli językowych. Claude Opus 4.6 zwyciężył z wynikiem 94,1%, ale testy wykazały, że zapamiętywanie danych nie równa się głębokiemu...
