utworzone przez Redakcja | paź 30, 2026
Naukowcy stworzyli OpenFrontiers – zbiór ponad 12 000 otwartych problemów naukowych oraz benchmark 200 zadań matematycznych do oceny możliwości dużych modeli językowych w rozwiązywaniu problemów badawczych.
utworzone przez Redakcja | paź 23, 2026
Pierwsze empiryczne badanie porównuje narzuty komunikacyjne (handshake) w trzech głównych protokołach agentów AI: MCP, A2A i ACP, mierząc latencję, bajty i koszt tokenów w różnych scenariuszach.
utworzone przez Redakcja | paź 20, 2026
Naukowcy zaproponowali nowe podejście do oceny modeli T2I, traktując generowanie obrazów jako problem spełniania ograniczeń logicznych. Benchmark LogicVal testuje cztery modele w 9 klasach ograniczeń, od atrybutów pojedynczych obiektów po relacje między...
utworzone przez Redakcja | paź 20, 2026
Naukowcy porównali siedem metod automatyzacji zadań, w tym agentyczną AI, REST, SOAP i MCP, na benchmarku 1000 wyrażeń arytmetycznych. Wyniki sugerują, że agenci AI często kosztują więcej i robią mniej niż tradycyjne alternatywy.
utworzone przez Redakcja | paź 20, 2026
Naukowcy przedstawili GardenBench – zestaw 11 testów do codziennej oceny możliwości dużych modeli językowych. Benchmark śledzi zmiany wydajności modeli w czasie, w tym koszty i czasy działania, udostępniając wyniki na publicznym dashboardzie.
