Badania pokazują, że wielomodalne modele językowe używające narzędzi agentycznych stają się znacznie mniej skuteczne w odmawianiu szkodliwych próśb – wskaźnik niepowodzeń wzrasta nawet o 68,7% w porównaniu do trybu bez narzędzi. Zjawisko potwierdzono na trzech popularnych benchmarkach bezpieczeństwa.
Agentyczne modele multimodalne to jeden z najgorętszych trendów w AI: systemy, które nie tylko rozmawiają, ale też działają, klikają, wywołują narzędzia i wykonują zadania w imieniu użytkownika. Brzmi jak supermoc. Badania właśnie pokazały jednak, że ta supermoc ma poważną lukę w pancerzu: gdy model dostaje dostęp do narzędzi agentycznych, jego zdolność do odmawiania szkodliwych poleceń dramatycznie spada, a wskaźnik niepowodzeń rośnie nawet o 68,7 proc. względem trybu bez narzędzi, co potwierdzono na trzech niezależnych benchmarkach bezpieczeństwa.
Jeśli AI, którą właśnie wpuszczamy do naszych systemów, skrzynek mailowych i aplikacji, traci znaczną część swoich hamulców dokładnie wtedy, gdy zyskuje sprawcze możliwości, to warto zapytać wprost: czy wdrażamy te systemy szybciej, niż jesteśmy w stanie zrozumieć, co tak nap
Co o tym myślisz?
Zaloguj się, aby dołączyć do dyskusji.
Zaloguj się do dzis.ai
Komentuj, zachowaj swoją passę, dołącz do dyskusji.
G Kontynuuj z Google