Zaznacz stronę
HyperSAE: narzędzie mapujące wiedzę LLM w drzewa pojęć

HyperSAE: narzędzie mapujące wiedzę LLM w drzewa pojęć

Powstało open-source'owe narzędzie HyperSAE, które wykorzystuje geometrię hiperboliczną do organizowania wyuczonych cech modeli językowych w hierarchiczne struktury drzewiaste. Narzędzie przetestowano na modelu Gemma-2-2B, osiągając 99,8% pokrycia cech modelu...
CoCo: nowa metoda interpretacji modeli nagrody typu MoE

CoCo: nowa metoda interpretacji modeli nagrody typu MoE

Badacze zaproponowali metodę Contribution-Contrast (CoCo), która lepiej wyjaśnia działanie rzadkich modeli nagrody Mixture-of-Experts, analizując pary odpowiedzi zamiast samych wag routingu. Pozwala to dokładniej zrozumieć, jak eksperci oceniają odpowiedzi w uczeniu z...