Zaznacz stronę
BehaveRec: Kiedy historia zachowań poprawia rekomendacje sekwencyjne?

BehaveRec: Kiedy historia zachowań poprawia rekomendacje sekwencyjne?

Badacze przedstawili BehaveRec – system rekomendacji łączący trzy sygnały: sesję użytkownika, 90-dniową historię zachowań oraz graf społecznościowy oparty na podobieństwie embeddingów. Na zbiorze 137M sekwencji od 12,6M użytkowników model poprawił wynik R@5 o 3,2%...
Routing świadomy uwagi – nowe podejście do modeli MoE

Routing świadomy uwagi – nowe podejście do modeli MoE

Badacze zaproponowali metodę AAR, która ulepsza routing w modelach językowych Mixture-of-Experts poprzez wykorzystanie cech czasowych i spektralnych z mechanizmu uwagi. Podejście poprawia wyniki na benchmarku GSM8K o 3,37 punktu procentowego przy zamrożonych...
KVBoost: szybsze LLM dzięki ponownemu użyciu cache KV

KVBoost: szybsze LLM dzięki ponownemu użyciu cache KV

KVBoost to system wielokrotnego użycia pamięci podręcznej klucz-wartość dla dużych modeli językowych, który działa niezależnie od pozycji współdzielonej treści w prompcie. Dzięki podwójnemu schematowi hashowania redukuje opóźnienia prefill bez ograniczeń tradycyjnych...
ITNet: Ujednolicona architektura łącząca CNN, RNN i Transformery

ITNet: Ujednolicona architektura łącząca CNN, RNN i Transformery

Badacze przedstawili ITNet – sieć neuronową opartą na uczonym przekształceniu całkowym, która matematycznie ujednolica sploty, rekurencję i mechanizmy uwagi. Architektura wykorzystuje małą sieć MLP do modelowania interakcji parami, zastępując dotychczas odrębne...