utworzone przez Redakcja | paź 30, 2026
Naukowcy przedstawili system LRMoE, który optymalizuje trenowanie rzadkich modeli Mixture-of-Experts poprzez inteligentne zarządzanie pamięcią GPU i równoważenie obciążenia obliczeniowego. System recalibruje gradienty wstecznej propagacji, wybierając najważniejsze...
utworzone przez Redakcja | paź 1, 2026
Allen Institute for AI zaprezentował OLMo-Core 3 – otwartą i skalowalną infrastrukturę do trenowania dużych modeli językowych typu Mixture of Experts. Projekt ma przyspieszyć otwarte badania nad wielkoskalowymi modelami AI.
utworzone przez Redakcja | wrz 21, 2026
Badacze zaproponowali metodę AAR, która ulepsza routing w modelach językowych Mixture-of-Experts poprzez wykorzystanie cech czasowych i spektralnych z mechanizmu uwagi. Podejście poprawia wyniki na benchmarku GSM8K o 3,37 punktu procentowego przy zamrożonych...
utworzone przez Redakcja | sie 17, 2026
Badacze przeprowadzili systematyczną analizę wrażliwości warstw modelu Qwen3.6-35B-A3B opartego na architekturze Mixture-of-Experts, odkrywając że wczesne warstwy (0-9) są krytyczne dla kompresji modelu. Wyniki mogą usprawnić optymalizację dużych modeli...
utworzone przez Redakcja | sie 13, 2026
Badacze przeanalizowali wpływ kwantyzacji 4-bitowej na modele Mixture-of-Experts, odkrywając że około 1/3 zniekształceń wynika z nieprawidłowego kierowania tokenów do ekspertów. Opracowali aparat przyczynowy do pomiaru tej frakcji szkód, nie proponując jednak nowych...
