Badacze proponują architekturę Dual-Flow Transformer, która rozdziela obliczenia fazy prefill i decode w dużych modelach językowych, pozwalając przydzielać dodatkowe zasoby obliczeniowe wyłącznie do generowania tokenów bez zwiększania kosztów przetwarzania promptu.
Duże modele językowe działają dziś jak restauracja z jedną kuchnią obsługującą jednocześnie przyjęcie i kanapkę na wynos: zasoby obliczeniowe traktują "czytanie" promptu i "pisanie" odpowiedzi jako jeden nierozłączny proces. Dual-Flow Transformer to próba rozdzielenia tych dwóch kuchni, pozwalając dolewać mocy obliczeniowej wyłącznie tam, gdzie tokenów właśnie "przybywa", bez przepłacania za fazę wstępną.
Brzmi jak elegant hack, ale pytanie kluczowe pozostaje otwarte: czy taka architektura sprawdzi się poza laboratoriami, w warunkach produkcyjnych, gdzie infrastruktura już istnieje i nikt nie pali się do przepisywania fundamentów od zera?
To streszczenie zostało przygotowane przy pomocy narzędzi AI na podstawie źródła. Pełną treść znajdziesz w oryginalnym artykule.
Co o tym myślisz?
Zaloguj się, aby dołączyć do dyskusji.
Zaloguj się do dzis.ai
Komentuj, zachowaj swoją passę, dołącz do dyskusji.
G Kontynuuj z Google