W skrócie
Ruch na żywo należy obsługiwać silnikiem inferencji, który stosuje ciągłe grupowanie (continuous batching), tak aby równoczesne zapytania dzieliły akcelerator. Pracę, która nie wymaga natychmiastowej odpowiedzi, np. nocne przetwarzanie dokumentów, warto kolejkować i uruchamiać w dużych partiach, najlepiej wtedy, gdy sieć jest czystsza. Akcelerator obsługujący jedno zapytanie naraz jest słabo wykorzystany, ale nadal pobiera dużo energii.
Kroki
- Oddzielić zapytania interaktywne od pracy, która może poczekać minuty lub godziny.
- Obsługiwać ruch interaktywny silnikiem, który obsługuje ciągłe grupowanie.
- Kolejkować pracę niepilną i przetwarzać ją w partiach.
- W przypadku modeli hostowanych korzystać z interfejsu wsadowego dostawcy, jeśli taki istnieje.
- Mierzyć energię na zapytanie przy rzeczywistych rozmiarach partii, razem z opóźnieniem.
Grupowanie pozwala jednym przebiegiem sprzętu obsłużyć wiele zapytań. Energia na odpowiedź silnie zależy od tego, jak bardzo akcelerator jest zajęty.
Dlaczego to ważne?
Procesory GPU pobierają dużo energii nawet przy niewielkim obciążeniu. Obsługa zapytań pojedynczo rozkłada więc tę energię na bardzo niewiele odpowiedzi. Kwon i współpracownicy podali, że vLLM, dzięki ciągłemu grupowaniu i stronicowanemu zarządzaniu pamięcią podręczną klucz–wartość, zwiększył przepustowość od 2 do 4 razy przy tym samym opóźnieniu w porównaniu z wcześniejszymi systemami. Ciągłe grupowanie opisuje też dokumentacja inferencji Hugging Face.
Dwa rodzaje grupowania
- Ciągłe grupowanie dla ruchu na żywo. Silnik dodaje nowe zapytania do trwającej partii, gdy inne się kończą, więc użytkownicy nie czekają, aż partia się zapełni. Należy używać silnika, który to obsługuje, a nie prostej pętli „jedno zapytanie na wywołanie”.
- Partie offline dla pracy, która może poczekać. Streszczanie wczorajszych dokumentów, tagowanie archiwum czy ocenianie zbioru danych nie wymaga natychmiastowych odpowiedzi. Taką pracę należy kolejkować i przetwarzać hurtowo. Green Software Foundation zaleca uruchamianie wsadowych zadań AI w regionach i porach o niskiej emisyjności, gdy opóźnienie ma mniejsze znaczenie; zob. jak planować pracę, gdy sieć jest bardziej ekologiczna.
Częste błędy
- Partie tak duże, że pogarszają opóźnienie dla użytkowników interaktywnych. Należy je dostroić na rzeczywistym ruchu.
- Marnowanie na dopełnianie (padding). Łączenie bardzo krótkich i bardzo długich danych wejściowych w jednej partii marnuje obliczenia w niektórych silnikach.
- Pozostawianie serwerów wsadowych włączonych między zadaniami; zob. jak nie dopuszczać do bezczynności GPU.
Więcej w części wydajne trenowanie i inferencja.
Źródła
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)
Powiązane
Jak zmniejszyć zużycie energii przy serwowaniu modelu w produkcji?
Jak serwować własny model przy mniejszym zużyciu energii na zapytanie: wydajne środowiska, batching, połowiczna precyzja, kompilacja, cache i testy sprzętu.
Jak planować trenowanie na czas, gdy sieć energetyczna jest czystsza?
Jak uruchamiać trenowanie i zadania wsadowe AI przy niskiej emisyjności sieci: prognozy, punkty kontrolne pozwalające wstrzymać zadanie i twarde terminy.
Efektywne trenowanie i inferencja AI
Techniki ograniczania zużycia energii przez AI dla programistów i badaczy: przycinanie, rzadkość, kwantyzacja, destylacja, KV cache, batching i harmonogramy.
Jak sprawić, by GPU i notatniki nie stały bezczynnie?
Jak zapobiec marnowaniu energii przez bezczynny sprzęt AI: zasoby na żądanie, automatyczne wyłączanie notatników, skalowanie do zera i raporty o GPU.