# Jak zmniejszyć zużycie energii przy serwowaniu modelu w produkcji?

> Jak serwować własny model przy mniejszym zużyciu energii na zapytanie: wydajne środowiska, batching, połowiczna precyzja, kompilacja, cache i testy sprzętu.

Source: https://greenai.guide/pl/jak/jak-zmniejszyc-zuzycie-energii-przy-serwowaniu-modelu-w-produkcji/  
Updated: 2026-11-19

## W skrócie

Należy serwować najmniejszy model spełniający próg jakości, w środowisku zbudowanym do inferencji, z włączonym batchingiem, z wagami w połowicznej precyzji lub skwantyzowanymi oraz z włączonymi zoptymalizowanymi ścieżkami attention i cache w bibliotece. Następnie należy przetestować dwa lub trzy środowiska uruchomieniowe i opcje sprzętu przy rzeczywistym ruchu i wybierać według energii na zapytanie, a także opóźnień.

## Steps

1. Upewnić się, że model jest najmniejszym, który spełnia próg jakości.
2. Serwować go silnikiem inferencji obsługującym ciągły batching (continuous batching).
3. Ładować wagi w połowicznej precyzji lub w przetestowanym formacie skwantyzowanym.
4. Włączyć wydajne attention i statyczny cache klucz-wartość, jeśli biblioteka je obsługuje.
5. Przetestować dwa lub trzy środowiska uruchomieniowe i typy GPU przy rzeczywistych rozmiarach batcha.
6. Skalować w dół lub do zera przy małym ruchu.

**Większość energii w całym życiu modelu zużywa jego serwowanie, więc ustawienia serwowania mają znaczenie.**
Ustawienia domyślne rzadko są najwydajniejsze, a zoptymalizowane ścieżki zwykle trzeba włączyć.

## Co daje największą różnicę? {#what-makes-the-biggest-difference}

1. **Batching.** Akcelerator obsługujący jedno zapytanie naraz jest niewykorzystany, a mimo to pobiera energię. Kwon
   i współpracownicy podali, że vLLM, ze stronicowanym zarządzaniem cache klucz-wartość, dawał 2–4 razy większą
   przepustowość niż wcześniejsze systemy przy tym samym opóźnieniu. Zob. [jak grupować zapytania do AI](/pl/jak/jak-grupowac-zapytania-do-ai-w-partie-aby-oszczedzac-energie/).
2. **Precyzja.** Połowiczna precyzja lub przetestowany [skwantyzowany](/pl/jak/jak-skwantyzowac-model/) model wymaga mniej
   pamięci i często mniej GPU.
3. **Zoptymalizowane ścieżki kodu.** Hugging Face opisuje wydajne implementacje attention oraz statyczny cache
   klucz-wartość w połączeniu z `torch.compile`, co według dokumentacji może dać nawet 4-krotne przyspieszenie.
4. **Środowisko uruchomieniowe i sprzęt wybrane na podstawie danych.** Green Software Foundation zaleca wybierać
   wydajne frameworki i środowiska do inferencji; należy je przetestować, zamiast używać tego, na czym model był
   trenowany.

## Częste błędy {#common-mistakes}

- **Utożsamianie szybkości z energią.** Badacze GreenCode pracujący nad llama.cpp obniżyli zużycie energii GPU
  o 4,7%, a szybkość wzrosła tylko o 3%: te dwie wielkości mówią co innego. Należy mierzyć obie.
- **Testy przy rozmiarze batcha równym jeden**, gdy produkcja działa przy znacznie większej współbieżności, lub
  odwrotnie.
- **Pozostawianie replik włączonych na noc** dla ruchu, którego nie ma. Zob.
  [jak sprawić, by GPU nie stały bezczynnie](/pl/jak/jak-sprawic-by-gpu-i-notatniki-nie-staly-bezczynnie/).
- **Brak rozgrzania skompilowanych modeli** przed pomiarem, co zniekształca wyniki.

Pełny zestaw narzędzi opisuje część [wydajny trening i inferencja](/pl/dobre-praktyki/efektywne-trenowanie-i-inferencja-ai/).

## Źródła

- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [GreenCode Constitution: agent principles for optimizing code and LLM inference energy use](https://greencode.ai/publications/greencode-constitution-agent-principles-for-optimizing-code-and-llm-inference-en/), Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
- [Green Software Patterns: select efficient ML frameworks and inference runtimes](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/select-efficient-ml-frameworks-inference-runtimes.md), Green Software Foundation (2025)
