Badacze odkryli, że agenty językowe operujące na długich horyzontach czasowych koncentrują użycie pamięci na małym rdzeniu, pozostawiając rzadkie stany w długim ogonie, gdzie narastają błędy predykcji. Efekt jest odtwarzalny, ale zależy od polityki agenta – modele LLM generują najsilniejsze ślady zgodne z uciętym prawem potęgowym.
Wyobraź sobie agenta AI jako bibliotekarza, który obsługuje miliony książek, ale wciąż sięga po te same kilka tomów z pierwszej półki. Badacze odkryli właśnie, że systemy językowe działające przez długi czas budują pamięć według podobnego wzorca: intensywny, zwięzły rdzeń aktywności i rozległy "długi ogon" rzadkich stanów, gdzie błędy predykcji cicho się piętrzą.
Brzmi jak eleganckie prawo natury, a rozkład przypominający ucięte prawo potęgowe robi wrażenie. Ale tu pojawia się niewygodne pytanie: skoro błędy narastają właśnie tam, gdzie agent bywa najrzadziej, to czy systemy AI są naprawdę niezawodne w sytuacjach wyjątkowych, czy tylko świetnie radzą sobie z tym, co już znają?
To streszczenie zostało przygotowane przy pomocy narzędzi AI na podstawie źródła. Pełną treść znajdziesz w oryginalnym
Co o tym myślisz?
Zaloguj się, aby dołączyć do dyskusji.
Zaloguj się do dzis.ai
Komentuj, zachowaj swoją passę, dołącz do dyskusji.
G Kontynuuj z Google