Zaznacz stronę

Nowa metoda optymalizacji dla sieci neuronowych fizyki

Naukowcy opracowali lekką metodę optymalizacji wspieraną wiedzą geometryczną, która przyspiesza uczenie się fizycznych sieci neuronowych i poprawia ich dokładność w rozwiązywaniu skomplikowanych równań różniczkowych.

Geometryczne metryki do detekcji specjalizacji w modelach MoE

Naukowcy opracowali nową ramę teoretyczną opartą na geometrii informacyjnej do analizy specjalizacji ekspertów w modelach Mixture-of-Experts. Wykazali, że istniejące metryki nie są niezmiennikami reparametryzacji i zaproponowali formalną analizę dynamiki specjalizacji...