Naukowcy przedstawili MERIT – nowy benchmark mierzący realną użyteczność pamięci długoterminowej w agentach LLM wykonujących zadania z narzędziami, uwzględniający koszty operacji pamięci. Przetestowano go na 23 440 epizodach za łączny koszt 42,57 USD.
Czy agenty AI naprawdę pamiętają, czy tylko udają, że pamiętają? MERIT to nowy benchmark, który wreszcie stawia to pytanie wprost i mierzy realną użyteczność długoterminowej pamięci w agentach językowych podczas wykonywania zadań z narzędziami. Przebadano aż 23 440 epizodów za łączny koszt zaledwie 42,57 USD, co brzmi jak kosmiczna okazja w świecie badań nad AI.
Haczyk tkwi jednak w samym słowie "realną": bo jeśli benchmark dopiero teraz zaczyna uwzględniać koszty operacji pamięci, to może przez lata budowaliśmy systemy, które świetnie wypadają w testach, ale w praktyce przepłacają za każde wspomnienie?
To streszczenie zostało przygotowane przy pomocy narzędzi AI na podstawie źródła. Pełną treść znajdziesz w oryginalnym artykule.
Co o tym myślisz?
Zaloguj się, aby dołączyć do dyskusji.
Zaloguj się do dzis.ai
Komentuj, zachowaj swoją passę, dołącz do dyskusji.
G Kontynuuj z Google