W skrócie
Jeśli istnieje standardowy benchmark obejmujący dane zadanie, np. AI Energy Score od Hugging Face, należy z niego skorzystać. W przeciwnym razie warto samodzielnie zmierzyć modele na tym samym zadaniu, sprzęcie i ustawieniach. Energię na udane zadanie należy porównywać razem z jakością, bo tani model, który zawodzi, ostatecznie kosztuje więcej.
Kroki
- Należy sprawdzić, czy rozważane modele mają już ocenę AI Energy Score dla danego zadania.
- Modele bez oceny należy przetestować tym samym benchmarkiem, na tym samym GPU i z tymi samymi ustawieniami.
- Warto użyć stałego zestawu prawdziwych promptów o realistycznej długości wejścia i wyjścia.
- Dla każdego modelu należy zapisać energię na zapytanie i jakość, mierzone w ten sam sposób.
- Należy porównać koszt na udane zadanie, łącznie z ponownymi próbami.
Należy porównywać porównywalne: to samo zadanie, ten sam sprzęt, te same ustawienia, ten sam pomiar. Dane publikowane przez różnych dostawców opierają się na różnych metodach i granicach, więc rzadko da się je uczciwie porównać.
Czy istnieje gotowe porównanie?
Dla wielu otwartych modeli tak. AI Energy Score od Hugging Face mierzy energię GPU na 1000 zapytań dla dziesięciu typowych zadań i przyznaje od jednej do pięciu gwiazdek w porównaniu z innymi modelami w tym samym zadaniu. Pozwala też testować prywatne modele tą samą metodą. Od tego warto zacząć.
Jak samodzielnie zmierzyć modele?
- Modele uruchamiane samodzielnie: każde uruchomienie można objąć narzędziem takim jak CodeCarbon, które szacuje energię na podstawie mocy procesora i pamięci.
- Modele dostępne przez API: energię można oszacować z liczby tokenów narzędziem takim jak EcoLogits, a wynik oznaczyć jako szacunek.
- Wszystko inne należy utrzymać bez zmian: prompty, rozmiar partii (batch), długość wejścia i wyjścia, sprzęt i region.
- Należy powtarzać uruchomienia i podawać przedział, a nie jedną liczbę.
Różnice mogą być duże. W porównaniu Luccioni, Jernite i Strubella wielozadaniowe modele generatywne były o rzędy wielkości droższe niż systemy przeznaczone do konkretnego zadania przy tych samych zadaniach.
Częste błędy
- Porównywanie na wywołanie zamiast na sukces. Należy liczyć ponowne próby i niepowodzenia.
- Pomijanie długości odpowiedzi. Model, który pisze dwa razy więcej, może kosztować dwa razy więcej, niezależnie od rozmiaru.
- Mieszanie wartości szacowanych i zmierzonych w jednej tabeli bez zaznaczenia tego.
Pełną metodę opisuje strona jak mierzyć energię AI, a odczytywanie ocen strona jak odczytać ocenę AI Energy Score.
Źródła
- AI Energy Score, Hugging Face (2025)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
- CodeCarbon, CodeCarbon (2026)
- EcoLogits documentation, EcoLogits (2025)
Powiązane
Jak odczytać ocenę AI Energy Score?
Co oznaczają oceny AI Energy Score od jednej do pięciu gwiazdek, co mierzą, jak porównywać za ich pomocą modele i czego z nich nie wyczytamy.
Jak zmierzyć, ile energii zużywa AI na moim komputerze lub GPU?
Pomiar energii lokalnej AI: liczniki sprzętowe, telemetria GPU lub miernik w gniazdku, próbkowanie przez całe zadanie i odjęcie poboru w spoczynku.
Jak oszacować zużycie energii przez moje wywołania API AI?
Hostowanego API AI nie da się opomiarować, ale energię na wywołanie można oszacować z liczby tokenów i założeń o modelu za pomocą EcoLogits.
Jak mierzyć zużycie energii i emisje AI
Praktyczny przewodnik po pomiarze lub szacowaniu energii i emisji AI: narzędzia, granice systemu, wskaźniki na zadanie i uczciwa niepewność.