greenai.guide

Strona główna › Jak…? › Jak wybrać energooszczędny sprzęt do AI?

Jak…?

Jak wybrać energooszczędny sprzęt do AI?

Aktualizacja · Czas czytania: 1 min

W skrócie

Należy przetestować własny model na dwóch lub trzech opcjach sprzętu i środowiska uruchomieniowego oraz porównać energię na zapytanie lub na trening przy realistycznych rozmiarach batcha, obok opóźnień i kosztów. Patterson i współpracownicy ustalili, że wybór modelu, centrum danych i procesora może łącznie obniżyć emisje z treningu nawet około 100–1000 razy. Dobry sprzęt warto utrzymywać w pełnym wykorzystaniu i w użyciu, bo produkcja nowego ma własny ślad.

Kroki

  1. Przetestować własny model na dwóch lub trzech opcjach akceleratorów i typów instancji.
  2. Zmierzyć energię na zapytanie lub na uruchomienie przy realnych rozmiarach batcha, obok opóźnień.
  3. Wypróbować na każdej opcji więcej niż jedno środowisko uruchomieniowe do inferencji.
  4. Wybrać opcję o najniższym zużyciu energii, która spełnia wymagania dotyczące opóźnień i jakości.
  5. Zestawić wbudowany ślad węglowy nowego sprzętu z oczekiwaną oszczędnością.
  6. Testować ponownie, gdy zmienia się model lub ruch.

Sprzęt należy wybierać według energii zmierzonej dla własnego obciążenia, a nie według parametrów szczytowych. Ten sam model może zużywać bardzo różną ilość energii na różnych akceleratorach, typach instancji i środowiskach uruchomieniowych, a najlepszy wybór zależy od rozmiarów batcha i ruchu.

Jak uczciwie porównać opcje?

Wzorce Green Software Foundation zalecają wybierać wydajne akceleratory i typy instancji oraz wydajne frameworki i środowiska do inferencji na podstawie danych. W praktyce należy:

  • uruchomić ten sam model, dane wejściowe i ustawienia na każdym kandydacie;
  • mierzyć energię na zapytanie (lub na uruchomienie) przy rozmiarach batcha, które będą faktycznie używane, a nie tylko w najlepszym przypadku;
  • zapisywać opóźnienia i jakość obok energii;
  • uwzględnić środowisko uruchomieniowe: inny silnik serwujący na tym samym chipie może zmienić wynik.

Patterson i współpracownicy ustalili, że wybór architektury modelu, centrum danych i procesora może obniżyć ślad węglowy treningu nawet około 100–1000 razy, więc wybór sprzętu należy do tej samej grupy decyzji.

Czy kupować nowy sprzęt?

Nie automatycznie. Wu i współpracownicy z Meta podali, że wbudowany ślad węglowy, pochodzący z produkcji sprzętu, stanowił około 30% śladu uczenia maszynowego na dużą skalę w Meta. Nowy akcelerator musi w ciągu swojego życia zaoszczędzić tyle energii, by zrekompensować swoją produkcję. Zob. uwzględnianie wbudowanego śladu węglowego.

Częste błędy

  • Niepełne wykorzystanie dużych akceleratorów. Duże GPU przy niskim obciążeniu może zużywać więcej energii na odpowiedź niż mniejsze, stale zajęte; zob. grupowanie zapytań do AI.
  • Jednorazowe testy. Należy testować ponownie, gdy zmienia się model, środowisko uruchomieniowe lub ruch.

Zob. wydajny trening i inferencja.

Źródła

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Select efficient accelerators and instance types for AI workloads, Green Software Foundation, Green Software Patterns (2025)
  3. Select efficient ML frameworks and inference runtimes, Green Software Foundation, Green Software Patterns (2025)
  4. Sustainable AI: environmental implications, challenges and opportunities, Wu et al., MLSys (2022)

Dołącz do nas

Pomóżmy zmniejszyć wpływ AI na planetę

Nowe przewodniki, nabory wniosków i wpisy w katalogach e-mailem, mniej więcej raz w miesiącu. Można też dodać do katalogów swój produkt, kurs, ofertę studiów doktoranckich lub badania.

Bez śledzenia. Rezygnacja jednym kliknięciem. Inne sposoby dołączenia · Prywatność