utworzone przez Redakcja | sie 10, 2026
Badacze zaproponowali metodę Contribution-Contrast (CoCo), która lepiej wyjaśnia działanie rzadkich modeli nagrody Mixture-of-Experts, analizując pary odpowiedzi zamiast samych wag routingu. Pozwala to dokładniej zrozumieć, jak eksperci oceniają odpowiedzi w uczeniu z...
utworzone przez Redakcja | lip 21, 2026
Poolside wydało nowy model językowy Laguna S 2.1 oparty na architekturze Mixture of Experts z 118 miliardami parametrów, który według twórców dorównuje znacznie większym systemom AI w zadaniach programistycznych.
utworzone przez Redakcja | maj 21, 2026
Kanadyjskie laboratorium AI Cohere wydało model Command A+ z 218 miliardami parametrów całkowitych i 25 miliardami aktywnymi, na licencji Apache 2.0. To pierwsza tego typu otwarta publikacja firmy.
utworzone przez Redakcja | kwi 17, 2026
Naukowcy opracowali nową ramę teoretyczną opartą na geometrii informacyjnej do analizy specjalizacji ekspertów w modelach Mixture-of-Experts. Wykazali, że istniejące metryki nie są niezmiennikami reparametryzacji i zaproponowali formalną analizę dynamiki specjalizacji...
utworzone przez Redakcja | kwi 17, 2026
Naukowcy wykazali, że choć topologia routowania w modelach Mixture-of-Experts jest neutralna jakościowo, poszczególni eksperci mają znaczenie przyczynowe. Odkryli, że eksperci są monosemantiką, a ich specjalizacja jest bezpośrednio inspektowalna poprzez przestrzeń...
