Naukowcy stworzyli publiczny zbiór 558 pełnych trajektorii agentów AI, który rejestruje proces rozumowania modeli podczas wykonywania 124 zadań naukowych. W przeciwieństwie do istniejących benchmarków, OpenDiscoveryTrace analizuje nie tylko końcowe wyniki, ale całą metodologię wnioskowania.
Wyobraź sobie, że oceniasz studenta nie tylko po wyniku egzaminu, ale śledzisz każdy krok jego myślenia, każdy ślepy zaułek i każde "eureka". Dokładnie to robi OpenDiscoveryTrace: zamiast pytać AI o odpowiedź, nagrywa cały proces rozumowania podczas setek zadań naukowych. To przełom, bo dotychczasowe testy mierzyły efekt, ignorując metodę.
Brzmi rewolucyjnie, ale warto zadać jedno niewygodne pytanie: skoro zbiór liczy nieco ponad pięćset trajektorii na ponad sto zadań, czy to wystarczy, by orzekać o "autonomicznym naukowcu AI" w ogólności, czy tylko o wąskim wycinku jego możliwości?
To streszczenie zostało przygotowane przy pomocy narzędzi AI na podstawie źródła. Pełną treść znajdziesz w oryginalnym artykule.
Co o tym myślisz?
Zaloguj się, aby dołączyć do dyskusji.
Zaloguj się do dzis.ai
Komentuj, zachowaj swoją passę, dołącz do dyskusji.
G Kontynuuj z Google