W skrócie
Należy serwować najmniejszy model spełniający próg jakości, w środowisku zbudowanym do inferencji, z włączonym batchingiem, z wagami w połowicznej precyzji lub skwantyzowanymi oraz z włączonymi zoptymalizowanymi ścieżkami attention i cache w bibliotece. Następnie należy przetestować dwa lub trzy środowiska uruchomieniowe i opcje sprzętu przy rzeczywistym ruchu i wybierać według energii na zapytanie, a także opóźnień.
Kroki
- Upewnić się, że model jest najmniejszym, który spełnia próg jakości.
- Serwować go silnikiem inferencji obsługującym ciągły batching (continuous batching).
- Ładować wagi w połowicznej precyzji lub w przetestowanym formacie skwantyzowanym.
- Włączyć wydajne attention i statyczny cache klucz-wartość, jeśli biblioteka je obsługuje.
- Przetestować dwa lub trzy środowiska uruchomieniowe i typy GPU przy rzeczywistych rozmiarach batcha.
- Skalować w dół lub do zera przy małym ruchu.
Większość energii w całym życiu modelu zużywa jego serwowanie, więc ustawienia serwowania mają znaczenie. Ustawienia domyślne rzadko są najwydajniejsze, a zoptymalizowane ścieżki zwykle trzeba włączyć.
Co daje największą różnicę?
- Batching. Akcelerator obsługujący jedno zapytanie naraz jest niewykorzystany, a mimo to pobiera energię. Kwon i współpracownicy podali, że vLLM, ze stronicowanym zarządzaniem cache klucz-wartość, dawał 2–4 razy większą przepustowość niż wcześniejsze systemy przy tym samym opóźnieniu. Zob. jak grupować zapytania do AI.
- Precyzja. Połowiczna precyzja lub przetestowany skwantyzowany model wymaga mniej pamięci i często mniej GPU.
- Zoptymalizowane ścieżki kodu. Hugging Face opisuje wydajne implementacje attention oraz statyczny cache
klucz-wartość w połączeniu z
torch.compile, co według dokumentacji może dać nawet 4-krotne przyspieszenie. - Środowisko uruchomieniowe i sprzęt wybrane na podstawie danych. Green Software Foundation zaleca wybierać wydajne frameworki i środowiska do inferencji; należy je przetestować, zamiast używać tego, na czym model był trenowany.
Częste błędy
- Utożsamianie szybkości z energią. Badacze GreenCode pracujący nad llama.cpp obniżyli zużycie energii GPU o 4,7%, a szybkość wzrosła tylko o 3%: te dwie wielkości mówią co innego. Należy mierzyć obie.
- Testy przy rozmiarze batcha równym jeden, gdy produkcja działa przy znacznie większej współbieżności, lub odwrotnie.
- Pozostawianie replik włączonych na noc dla ruchu, którego nie ma. Zob. jak sprawić, by GPU nie stały bezczynnie.
- Brak rozgrzania skompilowanych modeli przed pomiarem, co zniekształca wyniki.
Pełny zestaw narzędzi opisuje część wydajny trening i inferencja.
Źródła
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
- Green Software Patterns: select efficient ML frameworks and inference runtimes, Green Software Foundation (2025)
Powiązane
Jak grupować zapytania do AI w partie, aby oszczędzać energię?
Jak grupowanie zapytań zwiększa wykorzystanie akceleratora i zmniejsza energię na odpowiedź: ciągłe partie dla ruchu na żywo i kolejki dla pracy offline.
Jak skwantyzować model?
Jak skwantyzować model AI do 8 lub 4 bitów: jakich narzędzi użyć, jak sprawdzić jakość oraz kiedy kwantyzacja oszczędza energię, a kiedy nie.
Jak przyspieszyć duży model dzięki dekodowaniu spekulatywnemu?
Jak dekodowanie spekulatywne pozwala małemu modelowi szkicującemu proponować tokeny sprawdzane przez duży model, co daje szybsze odpowiedzi o identycznej treści.
Efektywne trenowanie i inferencja AI
Techniki ograniczania zużycia energii przez AI dla programistów i badaczy: przycinanie, rzadkość, kwantyzacja, destylacja, KV cache, batching i harmonogramy.