Zaznacz stronę
Jak OpenAI trenuje ChatGPT – kulisy procesu post-trainingu

Jak OpenAI trenuje ChatGPT – kulisy procesu post-trainingu

Trzecia część serii o post-trainingu wyjaśnia, jak OpenAI wykorzystuje uczenie ze wzmocnieniem i fine-tuning nadzorowany, by modele jak ChatGPT dawały sensowne odpowiedzi. To właśnie ten proces sprawił, że od listopada 2022 roku ChatGPT działa dla każdego...
CoCo: nowa metoda interpretacji modeli nagrody typu MoE

CoCo: nowa metoda interpretacji modeli nagrody typu MoE

Badacze zaproponowali metodę Contribution-Contrast (CoCo), która lepiej wyjaśnia działanie rzadkich modeli nagrody Mixture-of-Experts, analizując pary odpowiedzi zamiast samych wag routingu. Pozwala to dokładniej zrozumieć, jak eksperci oceniają odpowiedzi w uczeniu z...
Błąd stanu anotatora w danych RLHF – nowe ramy audytu

Błąd stanu anotatora w danych RLHF – nowe ramy audytu

Naukowcy zidentyfikowali strukturalne zakłócenie w uczeniu ze wzmocnieniem na podstawie ludzkiego feedbacku (RLHF): stan psychiczny anotatora podczas oceniania może wpływać na etykiety preferencji i propagować się przez modele nagrody. Proponują nowe ramy testowania...
Przewodnik po agentycznym AI: od podstaw do systemów produkcyjnych

Przewodnik po agentycznym AI: od podstaw do systemów produkcyjnych

Opublikowano kompleksowy podręcznik dla praktyków budujących autonomiczne systemy AI, omawiający pełen stos technologiczny – od architektury transformerów po wdrożenie produkcyjne. Książka koncentruje się na zrozumieniu każdej warstwy pipeline'u agentycznego...
PAT: adaptywny paralelizm tensorów przyspiesza trening RLHF

PAT: adaptywny paralelizm tensorów przyspiesza trening RLHF

Naukowcy opracowali metodę PAT, która dynamicznie rekonfiguruje paralelizm tensorów podczas generowania odpowiedzi w treningu RLHF, eliminując wąskie gardła powodowane przez nierównomierną długość odpowiedzi i poprawiając wykorzystanie GPU.