Ewaluacja modeli decyzyjnych System-1 dla agentów LLM

Wyścig mózgów w świecie agentów AI nabiera tempa: badacze wzięli pod lupę dwa modele decyzyjne klasy System-1 (Laya i Jev) i sprawdzili, który lepiej nawiguje przez punkty krytyczne, gdzie agent musi podjąć szybką, instynktowną decyzję. Jev okazał się wyraźnym faworytem, bijąc rywala w niemal wszystkich testowanych scenariuszach.

Jest jednak jeden detal, który powinien zmrozić każdego entuzjastę: żaden z modeli nie zdołał przebić poziomu losowego zgadywania w trybie zero-shot. Innymi słowy, moneta rzucona w górę radziłaby sobie równie dobrze. Zanim więc powierzymy agentom AI odpowiedzialne decyzje, warto zapytać: czy gonimy za tytułem lidera w konkursie, w którym wszyscy jeszcze raczkują?

To streszczenie zostało przygotowane przy pomocy narzędzi AI na podstawie źród