Ewaluacja modeli decyzyjnych System-1 dla agentów LLM

utworzone przez Redakcja | paź 5, 2026

Badacze porównali dwa modele System-1 (Laya i Jev) na 11 punktach decyzyjnych agentów AI. Model Jev okazał się znacząco dokładniejszy w 9 z 11 zadań, jednak żaden nie pokonał losowego zgadywania w trybie zero-shot.

LLM jako sędzia w pisaniu patentów – badanie skuteczności AI

utworzone przez Redakcja | wrz 15, 2026

Naukowcy zbadali wykorzystanie modeli językowych jako sędziów oceniających drafty patentowe. Iteracyjna informacja zwrotna od LLM pozwala tańszym agentom dorównać droższym modelom o wysokim poziomie rozumowania.

MERIT: benchmark oceniający pamięć długoterminową agentów LLM

utworzone przez Redakcja | wrz 9, 2026

Naukowcy przedstawili MERIT – nowy benchmark mierzący realną użyteczność pamięci długoterminowej w agentach LLM wykonujących zadania z narzędziami, uwzględniający koszty operacji pamięci. Przetestowano go na 23 440 epizodach za łączny koszt 42,57...

OpenAI po cichu zmienia metryki oceny GPT-6 Astra na swoją korzyść

utworzone przez Redakcja | wrz 6, 2026

OpenAI zaktualizowało kilka benchmarków ewaluacyjnych dla modelu GPT-6 Astra po opublikowaniu ogłoszenia, wprowadzając zmiany, które wydają się faworyzować ten model. Firma kontynuuje rewizję metryk już po premierze.

Teoria pomiaru Rascha do oceny jakości ewaluacji modeli LLM

utworzone przez Redakcja | sie 31, 2026

Badacze proponują zastosowanie teorii pomiaru Rascha (RMT) do analizy i poprawy systemów ewaluacji modeli językowych, umożliwiając wykrywanie błędów kalibracji i stronniczości oceniających.