utworzone przez Redakcja | wrz 21, 2026
Badacze zaproponowali metodę AAR, która ulepsza routing w modelach językowych Mixture-of-Experts poprzez wykorzystanie cech czasowych i spektralnych z mechanizmu uwagi. Podejście poprawia wyniki na benchmarku GSM8K o 3,37 punktu procentowego przy zamrożonych...
utworzone przez Redakcja | sie 13, 2026
Badacze przeanalizowali wpływ kwantyzacji 4-bitowej na modele Mixture-of-Experts, odkrywając że około 1/3 zniekształceń wynika z nieprawidłowego kierowania tokenów do ekspertów. Opracowali aparat przyczynowy do pomiaru tej frakcji szkód, nie proponując jednak nowych...
utworzone przez Redakcja | maj 13, 2026
Naukowcy zaproponowali LatentRouter, router AI który inteligentnie wybiera najlepszy multimodalny model językowy dla danego zadania, analizując możliwości każdego modelu w kontekście konkretnego zapytania zawierającego obraz i tekst.
