greenai.guide

Strona główna › Jak…? › Jak grupować zapytania do AI w partie, aby oszczędzać energię?

Jak…?

Jak grupować zapytania do AI w partie, aby oszczędzać energię?

Aktualizacja · Czas czytania: 1 min

W skrócie

Ruch na żywo należy obsługiwać silnikiem inferencji, który stosuje ciągłe grupowanie (continuous batching), tak aby równoczesne zapytania dzieliły akcelerator. Pracę, która nie wymaga natychmiastowej odpowiedzi, np. nocne przetwarzanie dokumentów, warto kolejkować i uruchamiać w dużych partiach, najlepiej wtedy, gdy sieć jest czystsza. Akcelerator obsługujący jedno zapytanie naraz jest słabo wykorzystany, ale nadal pobiera dużo energii.

Kroki

  1. Oddzielić zapytania interaktywne od pracy, która może poczekać minuty lub godziny.
  2. Obsługiwać ruch interaktywny silnikiem, który obsługuje ciągłe grupowanie.
  3. Kolejkować pracę niepilną i przetwarzać ją w partiach.
  4. W przypadku modeli hostowanych korzystać z interfejsu wsadowego dostawcy, jeśli taki istnieje.
  5. Mierzyć energię na zapytanie przy rzeczywistych rozmiarach partii, razem z opóźnieniem.

Grupowanie pozwala jednym przebiegiem sprzętu obsłużyć wiele zapytań. Energia na odpowiedź silnie zależy od tego, jak bardzo akcelerator jest zajęty.

Dlaczego to ważne?

Procesory GPU pobierają dużo energii nawet przy niewielkim obciążeniu. Obsługa zapytań pojedynczo rozkłada więc tę energię na bardzo niewiele odpowiedzi. Kwon i współpracownicy podali, że vLLM, dzięki ciągłemu grupowaniu i stronicowanemu zarządzaniu pamięcią podręczną klucz–wartość, zwiększył przepustowość od 2 do 4 razy przy tym samym opóźnieniu w porównaniu z wcześniejszymi systemami. Ciągłe grupowanie opisuje też dokumentacja inferencji Hugging Face.

Dwa rodzaje grupowania

  • Ciągłe grupowanie dla ruchu na żywo. Silnik dodaje nowe zapytania do trwającej partii, gdy inne się kończą, więc użytkownicy nie czekają, aż partia się zapełni. Należy używać silnika, który to obsługuje, a nie prostej pętli „jedno zapytanie na wywołanie”.
  • Partie offline dla pracy, która może poczekać. Streszczanie wczorajszych dokumentów, tagowanie archiwum czy ocenianie zbioru danych nie wymaga natychmiastowych odpowiedzi. Taką pracę należy kolejkować i przetwarzać hurtowo. Green Software Foundation zaleca uruchamianie wsadowych zadań AI w regionach i porach o niskiej emisyjności, gdy opóźnienie ma mniejsze znaczenie; zob. jak planować pracę, gdy sieć jest bardziej ekologiczna.

Częste błędy

  • Partie tak duże, że pogarszają opóźnienie dla użytkowników interaktywnych. Należy je dostroić na rzeczywistym ruchu.
  • Marnowanie na dopełnianie (padding). Łączenie bardzo krótkich i bardzo długich danych wejściowych w jednej partii marnuje obliczenia w niektórych silnikach.
  • Pozostawianie serwerów wsadowych włączonych między zadaniami; zob. jak nie dopuszczać do bezczynności GPU.

Więcej w części wydajne trenowanie i inferencja.

Źródła

  1. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)

Dołącz do nas

Pomóżmy zmniejszyć wpływ AI na planetę

Nowe przewodniki, nabory wniosków i wpisy w katalogach e-mailem, mniej więcej raz w miesiącu. Można też dodać do katalogów swój produkt, kurs, ofertę studiów doktoranckich lub badania.

Bez śledzenia. Rezygnacja jednym kliknięciem. Inne sposoby dołączenia · Prywatność