greenai.guide

Strona główna › Jak…? › Jak zmniejszyć zużycie energii przy serwowaniu modelu w produkcji?

Jak…?

Jak zmniejszyć zużycie energii przy serwowaniu modelu w produkcji?

Aktualizacja · Czas czytania: 1 min

W skrócie

Należy serwować najmniejszy model spełniający próg jakości, w środowisku zbudowanym do inferencji, z włączonym batchingiem, z wagami w połowicznej precyzji lub skwantyzowanymi oraz z włączonymi zoptymalizowanymi ścieżkami attention i cache w bibliotece. Następnie należy przetestować dwa lub trzy środowiska uruchomieniowe i opcje sprzętu przy rzeczywistym ruchu i wybierać według energii na zapytanie, a także opóźnień.

Kroki

  1. Upewnić się, że model jest najmniejszym, który spełnia próg jakości.
  2. Serwować go silnikiem inferencji obsługującym ciągły batching (continuous batching).
  3. Ładować wagi w połowicznej precyzji lub w przetestowanym formacie skwantyzowanym.
  4. Włączyć wydajne attention i statyczny cache klucz-wartość, jeśli biblioteka je obsługuje.
  5. Przetestować dwa lub trzy środowiska uruchomieniowe i typy GPU przy rzeczywistych rozmiarach batcha.
  6. Skalować w dół lub do zera przy małym ruchu.

Większość energii w całym życiu modelu zużywa jego serwowanie, więc ustawienia serwowania mają znaczenie. Ustawienia domyślne rzadko są najwydajniejsze, a zoptymalizowane ścieżki zwykle trzeba włączyć.

Co daje największą różnicę?

  1. Batching. Akcelerator obsługujący jedno zapytanie naraz jest niewykorzystany, a mimo to pobiera energię. Kwon i współpracownicy podali, że vLLM, ze stronicowanym zarządzaniem cache klucz-wartość, dawał 2–4 razy większą przepustowość niż wcześniejsze systemy przy tym samym opóźnieniu. Zob. jak grupować zapytania do AI.
  2. Precyzja. Połowiczna precyzja lub przetestowany skwantyzowany model wymaga mniej pamięci i często mniej GPU.
  3. Zoptymalizowane ścieżki kodu. Hugging Face opisuje wydajne implementacje attention oraz statyczny cache klucz-wartość w połączeniu z torch.compile, co według dokumentacji może dać nawet 4-krotne przyspieszenie.
  4. Środowisko uruchomieniowe i sprzęt wybrane na podstawie danych. Green Software Foundation zaleca wybierać wydajne frameworki i środowiska do inferencji; należy je przetestować, zamiast używać tego, na czym model był trenowany.

Częste błędy

  • Utożsamianie szybkości z energią. Badacze GreenCode pracujący nad llama.cpp obniżyli zużycie energii GPU o 4,7%, a szybkość wzrosła tylko o 3%: te dwie wielkości mówią co innego. Należy mierzyć obie.
  • Testy przy rozmiarze batcha równym jeden, gdy produkcja działa przy znacznie większej współbieżności, lub odwrotnie.
  • Pozostawianie replik włączonych na noc dla ruchu, którego nie ma. Zob. jak sprawić, by GPU nie stały bezczynnie.
  • Brak rozgrzania skompilowanych modeli przed pomiarem, co zniekształca wyniki.

Pełny zestaw narzędzi opisuje część wydajny trening i inferencja.

Źródła

  1. Optimizing inference, Hugging Face Transformers documentation (2026)
  2. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  3. GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
  4. Green Software Patterns: select efficient ML frameworks and inference runtimes, Green Software Foundation (2025)

Dołącz do nas

Pomóżmy zmniejszyć wpływ AI na planetę

Nowe przewodniki, nabory wniosków i wpisy w katalogach e-mailem, mniej więcej raz w miesiącu. Można też dodać do katalogów swój produkt, kurs, ofertę studiów doktoranckich lub badania.

Bez śledzenia. Rezygnacja jednym kliknięciem. Inne sposoby dołączenia · Prywatność