Zaznacz stronę
PAT: adaptywny paralelizm tensorów przyspiesza trening RLHF

PAT: adaptywny paralelizm tensorów przyspiesza trening RLHF

Naukowcy opracowali metodę PAT, która dynamicznie rekonfiguruje paralelizm tensorów podczas generowania odpowiedzi w treningu RLHF, eliminując wąskie gardła powodowane przez nierównomierną długość odpowiedzi i poprawiając wykorzystanie GPU.