Naukowcy stworzyli benchmark CONFLICTGUI badający zdolność agentów GUI do rozpoznawania niemożliwych do wykonania instrukcji. Okazuje się, że agenty mają tendencję do ślepego wykonywania nawet sprzecznych poleceń, a framework CONFLICTGUARD ma temu zapobiegać.
Wyobraź sobie asystenta, który gdy poprosisz go jednocześnie o "otwórz plik" i "nie ruszaj plików", po prostu... wykonuje oba polecenia naraz. Dokładnie tak zachowują się dziś agenty GUI: naukowcy stworzyli benchmark CONFLICTGUI, żeby zmierzyć tę ślepą uległość, i odkryli, że AI potrafi sumiennie realizować instrukcje wzajemnie się wykluczające, niczym pracownik, który dosłownie wykonuje sprzeczne rozkazy szefa bez mrugnięcia okiem. Framework CONFLICTGUARD ma temu zaradzić, ucząc agentów rozpoznawania niemożliwego.
Brzmi jak oczywista poprawa, ale warto zapytać: kto i według jakich kryteriów będzie decydował, które polecenie jest "niemożliwe do wykonania", a które po prostu nieoczekiwane? Granica między ochroną użytkownika a cenzurowaniem jego intencji bywa zaskakująco cienka.
To streszczenie
Co o tym myślisz?
Zaloguj się, aby dołączyć do dyskusji.
Zaloguj się do dzis.ai
Komentuj, zachowaj swoją passę, dołącz do dyskusji.
G Kontynuuj z Google