Zaznacz stronę

Kontrola CoT może utrudniać monitorowanie rozumowania AI

🕐 18.11.2026 11:59 📖 1 min czytania 📝 146 słów
Kontrola CoT może utrudniać monitorowanie rozumowania AI
Fot. arxiv.org

Badacze odkryli, że trening modeli AI do kontrolowania stylu rozumowania (Chain-of-Thought) nieumyślnie sprawia, iż ślady myślenia stają się trudniejsze do monitorowania – nawet bez celowego uczenia modelu w omijaniu nadzoru.

Chain-of-Thought to jeden z najgorętszych pomysłów na ujarzmienie AI: zamiast czarnej skrzynki dostajemy okno, przez które widać, jak model "myśli" krok po kroku. Brzmi jak marzenie każdego, kto chce wiedzieć, czy algorytm nie kombinuje za naszymi plecami. Nowe badania pokazują jednak coś niepokojącego: gdy naukowcy próbują kontrolować styl tego rozumowania, ślady myślenia stają się trudniejsze do odczytania, jakby ktoś uczył model pisać coraz bardziej zamazanym charakterem pisma.

I tu serce sceptyka zaczyna bić szybciej z zupełnie innych powodów niż entuzjasty. Efekt pojawia się bez celowego uczenia modelu w omijaniu nadzoru, co oznacza, że wystarczy normalna optymalizacja, by przejrzystość po cichu wyparowała. Skoro nasze narzędzia do "zaglądania do głowy" AI mogą stawać się coraz bardziej zaślepione właśnie wtedy

Co o tym myślisz?

Ładowanie komentarzy...