Zaznacz stronę
CoCo: nowa metoda interpretacji modeli nagrody typu MoE

CoCo: nowa metoda interpretacji modeli nagrody typu MoE

Badacze zaproponowali metodę Contribution-Contrast (CoCo), która lepiej wyjaśnia działanie rzadkich modeli nagrody Mixture-of-Experts, analizując pary odpowiedzi zamiast samych wag routingu. Pozwala to dokładniej zrozumieć, jak eksperci oceniają odpowiedzi w uczeniu z...