W skrócie
Należy przetestować własny model na dwóch lub trzech opcjach sprzętu i środowiska uruchomieniowego oraz porównać energię na zapytanie lub na trening przy realistycznych rozmiarach batcha, obok opóźnień i kosztów. Patterson i współpracownicy ustalili, że wybór modelu, centrum danych i procesora może łącznie obniżyć emisje z treningu nawet około 100–1000 razy. Dobry sprzęt warto utrzymywać w pełnym wykorzystaniu i w użyciu, bo produkcja nowego ma własny ślad.
Kroki
- Przetestować własny model na dwóch lub trzech opcjach akceleratorów i typów instancji.
- Zmierzyć energię na zapytanie lub na uruchomienie przy realnych rozmiarach batcha, obok opóźnień.
- Wypróbować na każdej opcji więcej niż jedno środowisko uruchomieniowe do inferencji.
- Wybrać opcję o najniższym zużyciu energii, która spełnia wymagania dotyczące opóźnień i jakości.
- Zestawić wbudowany ślad węglowy nowego sprzętu z oczekiwaną oszczędnością.
- Testować ponownie, gdy zmienia się model lub ruch.
Sprzęt należy wybierać według energii zmierzonej dla własnego obciążenia, a nie według parametrów szczytowych. Ten sam model może zużywać bardzo różną ilość energii na różnych akceleratorach, typach instancji i środowiskach uruchomieniowych, a najlepszy wybór zależy od rozmiarów batcha i ruchu.
Jak uczciwie porównać opcje?
Wzorce Green Software Foundation zalecają wybierać wydajne akceleratory i typy instancji oraz wydajne frameworki i środowiska do inferencji na podstawie danych. W praktyce należy:
- uruchomić ten sam model, dane wejściowe i ustawienia na każdym kandydacie;
- mierzyć energię na zapytanie (lub na uruchomienie) przy rozmiarach batcha, które będą faktycznie używane, a nie tylko w najlepszym przypadku;
- zapisywać opóźnienia i jakość obok energii;
- uwzględnić środowisko uruchomieniowe: inny silnik serwujący na tym samym chipie może zmienić wynik.
Patterson i współpracownicy ustalili, że wybór architektury modelu, centrum danych i procesora może obniżyć ślad węglowy treningu nawet około 100–1000 razy, więc wybór sprzętu należy do tej samej grupy decyzji.
Czy kupować nowy sprzęt?
Nie automatycznie. Wu i współpracownicy z Meta podali, że wbudowany ślad węglowy, pochodzący z produkcji sprzętu, stanowił około 30% śladu uczenia maszynowego na dużą skalę w Meta. Nowy akcelerator musi w ciągu swojego życia zaoszczędzić tyle energii, by zrekompensować swoją produkcję. Zob. uwzględnianie wbudowanego śladu węglowego.
Częste błędy
- Niepełne wykorzystanie dużych akceleratorów. Duże GPU przy niskim obciążeniu może zużywać więcej energii na odpowiedź niż mniejsze, stale zajęte; zob. grupowanie zapytań do AI.
- Jednorazowe testy. Należy testować ponownie, gdy zmienia się model, środowisko uruchomieniowe lub ruch.
Zob. wydajny trening i inferencja.
Źródła
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Select efficient accelerators and instance types for AI workloads, Green Software Foundation, Green Software Patterns (2025)
- Select efficient ML frameworks and inference runtimes, Green Software Foundation, Green Software Patterns (2025)
- Sustainable AI: environmental implications, challenges and opportunities, Wu et al., MLSys (2022)
Powiązane
Jak zmniejszyć zużycie energii przy serwowaniu modelu w produkcji?
Jak serwować własny model przy mniejszym zużyciu energii na zapytanie: wydajne środowiska, batching, połowiczna precyzja, kompilacja, cache i testy sprzętu.
Jak uwzględnić ślad węglowy wbudowany w sprzęt AI?
Należy doliczyć emisje z produkcji chipów i serwerów AI: przypisać udział według czasu użycia, pytać dostawców o dane i dłużej używać sprzętu.
Jak porównać zużycie energii przez różne modele AI?
Jak uczciwie porównać modele AI pod kątem energii: korzystając z benchmarków takich jak AI Energy Score lub mierząc je samodzielnie w tych samych warunkach.
Efektywne trenowanie i inferencja AI
Techniki ograniczania zużycia energii przez AI dla programistów i badaczy: przycinanie, rzadkość, kwantyzacja, destylacja, KV cache, batching i harmonogramy.