utworzone przez Redakcja | lip 14, 2026
Badacze odkryli, że różne formaty promptów mogą drastycznie zmieniać wyniki modeli językowych, wprowadzając dwa nowe metryki FSI i PSI do pomiaru tej wrażliwości. Analiza 140 000 generacji pokazała ponad 30-krotne różnice między modelami.
utworzone przez Redakcja | maj 28, 2026
Naukowcy przedstawili DynaSchedBench – framework diagnostyczny dla dynamicznego harmonogramowania zadań, który eliminuje problemy z przeregulowaniem benchmarków i szumem stochastycznym. Kluczowym elementem jest kalibrowany generator instancji SESC z indeksem trudności...
utworzone przez Redakcja | maj 25, 2026
Naukowcy przedstawili framework do mierzenia zużycia energii systemów AI na poziomie kompletnych zadań użytkownika, a nie pojedynczych wywołań modelu. Nowa metrika Energy per Successful Goal (EpG) lepiej reprezentuje rzeczywisty koszt energetyczny złożonych przepływów...
utworzone przez Redakcja | maj 20, 2026
Naukowcy wprowadzili DecisionBench, nową platformę testową do oceny umiejętności delegacji zadań przez systemy AI w długoterminowych przepływach pracy. Benchmark integruje 11 modeli, różne metryki jakości oraz interfejsy komunikacji między agentami.
utworzone przez Redakcja | maj 19, 2026
Naukowcy przedstawili agentyczny framework RTL-BenchMT, który automatycznie identyfikuje i naprawia błędy w benchmarkach generacji kodu RTL wspieranej przez duże modele językowe, znacznie zmniejszając nakład pracy ręcznej.
