W skrócie
Na własnym komputerze można mierzyć bezpośrednio: użyć CodeCarbon lub narzędzia odczytującego liczniki procesora i GPU albo włączyć między komputer a gniazdko inteligentną wtyczkę z pomiarem energii. Najpierw należy zapisać pobór w spoczynku, próbkować przez całe zadanie zamiast robić pojedyncze odczyty i kilka razy powtórzyć uruchomienie, zanim zaufa się wynikowi.
Kroki
- Przed rozpoczęciem zmierzyć pobór mocy komputera w spoczynku.
- Uruchomić zadanie AI z CodeCarbon, narzędziem opartym na licznikach lub inteligentną wtyczką z pomiarem, rejestrującymi przez cały czas.
- Próbkować moc GPU przez całe zadanie i scałkować ją w czasie.
- Powtórzyć uruchomienie kilka razy i podać średnią oraz zakres.
- Raz dla każdego komputera porównać miernik programowy z miernikiem w gniazdku.
Własny sprzęt można opomiarować, a to jest lepsze od każdego szacunku. To najlepszy sposób, by zobaczyć, ile naprawdę pobiera na danym komputerze lokalny model, dostrajanie (fine-tuning) lub narzędzie AI do programowania.
Jakich narzędzi można użyć?
| Opcja | Co odczytuje | Do czego się nadaje |
|---|---|---|
| Inteligentna wtyczka z pomiarem | Cały komputer, przy gniazdku | Dla każdego; do sprawdzania innych narzędzi |
| CodeCarbon | Moc procesora, GPU i pamięci oraz emisyjność sieci | Skrypty Python, trening i lokalna inferencja |
| Liczniki procesora (RAPL w wielu układach Intel i AMD) | Energia CPU i pamięci | Narzędzia linuksowe, takie jak perf, Scaphandre, PowerJoular |
Telemetria GPU (nvidia-smi, NVML) |
Moc GPU | Trening i inferencja modeli na kartach NVIDIA |
Dlaczego próbkować w czasie?
Odczyty GPU są próbkowane, a nie ciągłe. Yang i współpracownicy ustalili, że na GPU A100 i H100 nvidia-smi
próbkuje moc tylko przez około 25% czasu działania, co przy krótkich zadaniach może poważnie wprowadzać w błąd.
Należy zapisywać odczyty przez całe zadanie, uruchamiać je na tyle długo, by objęło wiele interwałów próbkowania,
i sumować wyniki w czasie.
Częste błędy
- Pominięcie poboru w spoczynku. Komputer stacjonarny pobiera energię, nawet nic nie robiąc; należy ją odjąć, aby zobaczyć, ile dodaje AI.
- Jednorazowy pomiar. Temperatura, zadania w tle i skalowanie częstotliwości zmieniają odczyty. Należy powtarzać pomiary i podawać zakres.
- Porównywanie tylko szybkości. Szybciej i mniej energii często idą w parze, ale nie zawsze. Należy podawać oba wyniki.
Aby przeliczyć energię na emisje, zob. jak sprawdzić emisyjność sieci. Pełną metodę opisuje część jak mierzyć energię AI.
Źródła
- Part-time power measurements: nvidia-smi's lack of attention, Yang et al. (arXiv 2312.02741) (2023)
- CodeCarbon, CodeCarbon (2026)
- When to use CodeCarbon, CodeCarbon (2025)
Powiązane
Jak uruchomić model AI lokalnie?
Jak uruchomić otwarty model AI na własnym laptopie lub serwerze za pomocą Ollama lub llama.cpp, wybrać pasujący model skwantyzowany i zmierzyć jego energię.
Jak zmierzyć ślad węglowy trenowania modelu?
Należy śledzić energię trenowania narzędziem takim jak CodeCarbon, pomnożyć ją przez emisyjność lokalnej sieci i podać sprzęt, czas oraz lokalizację.
Jak ustalić punkt odniesienia, aby udowodnić oszczędność energii w AI?
Jak wykazać rzeczywistą oszczędność energii w AI: pomiar przed zmianą przy tej samej konfiguracji, powtórzenia, wynik na jednostkę pracy i kontrola jakości.
Jak mierzyć zużycie energii i emisje AI
Praktyczny przewodnik po pomiarze lub szacowaniu energii i emisji AI: narzędzia, granice systemu, wskaźniki na zadanie i uczciwa niepewność.