W skrócie
Zamiast dużego przeszukiwania siatki należy stosować przeszukiwanie losowe lub adaptacyjne, wcześnie przerywać słabe próby, najpierw prowadzić pilotaże na małych danych lub małych modelach i zaczynać od opublikowanych ustawień domyślnych dla danej architektury. Energię należy śledzić dla każdej próby, a nie tylko dla zwycięskiej, i ustalić budżet obliczeniowy przed rozpoczęciem. Przebiegi strojenia często kosztują więcej niż końcowe trenowanie i rzadko są raportowane.
Kroki
- Przed rozpoczęciem ustalić budżet obliczeniowy na przeszukiwanie.
- Zacząć od opublikowanych domyślnych hiperparametrów dla danej rodziny modeli.
- Stosować przeszukiwanie losowe lub adaptacyjne zamiast pełnej siatki.
- Wcześnie przerywać próby, które są wyraźnie gorsze od dotychczas najlepszej.
- Przed skalowaniem przeprowadzić pilotaż na podzbiorze danych lub mniejszym modelu.
- Zapisywać energię i emisje każdej próby razem z dokładnością.
Należy stroić mądrzej, a nie szerzej. Pełna siatka wielu hiperparametrów mnoży koszt trenowania przez liczbę kombinacji, a większość tych przebiegów już na wczesnym etapie jest wyraźnie gorsza.
Dlaczego to ważne?
Artykuł Strubell, Ganesha i McCalluma z 2019 roku określił ilościowo koszt opracowywania modeli językowych, w tym towarzyszących temu eksperymentów, a nie tylko jednego końcowego trenowania. Schwartz i współpracownicy w pracy „Green AI” argumentowali, że badacze powinni podawać koszt obliczeniowy swoich wyników, w tym eksperymentów potrzebnych do ich osiągnięcia, tak aby wydajność była ceniona na równi z dokładnością.
Co daje największą różnicę?
- Wczesne przerywanie słabych prób. Metody typu successive halving dają każdej próbie mały budżet i kontynuują tylko obiecujące. Obsługuje to większość bibliotek do strojenia.
- Przeszukiwanie losowe lub adaptacyjne. Zamiast uruchamiać każdą kombinację, można losować ustawienia albo pozwolić metodzie adaptacyjnej wybierać kolejną próbę na podstawie wcześniejszych wyników.
- Małe pilotaże. Pomysły można odrzucać na podzbiorze danych lub mniejszym modelu.
- Najpierw ustawienia domyślne. Dobrze przetestowane ustawienia domyślne dla popularnych architektur są często bliskie optymalnym.
- Śledzenie każdej próby. Dokumentacja CodeCarbon pokazuje, jak śledzić każdą konfigurację i porównywać dokładność z emisjami.
Częste błędy
- Raportowanie tylko najlepszego przebiegu. Wszystkie próby należy wliczyć do łącznego nakładu obliczeń; zob. jak raportować zużycie energii w badaniach.
- Strojenie na pełnym zbiorze danych od pierwszego dnia.
- Brak budżetu. Bez niego przeszukiwanie rozrasta się, aż zajmie cały klaster. Zob. jak ustalić budżet obliczeniowy.
Więcej w przewodniku dla badaczy.
Źródła
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- Green AI, Schwartz, Dodge, Smith and Etzioni, Communications of the ACM (2020)
- Comparing model efficiency with carbon tracking, CodeCarbon documentation (2025)
Powiązane
Jak ustalić budżet obliczeniowy dla projektu badawczego?
Jak ustalić i śledzić budżet obliczeniowy w badaniach nad AI: oszacować GPU-godziny, zacząć od pilotażu, wcześnie przerywać słabe przebiegi i raportować wyniki.
Jak zmniejszyć zużycie energii podczas trenowania modelu?
Główne sposoby na mniejsze zużycie energii przy trenowaniu: model wstępnie wytrenowany, właściwy rozmiar, mieszana precyzja, wczesne zatrzymanie, pomiar.
Jak raportować zużycie energii w moich badaniach nad AI?
Co podać w artykule o obliczeniach i energii: sprzęt, GPU-godziny wszystkich przebiegów, energię, lokalizację, emisje, koszt inferencji i przyjęte granice.
Zielona AI dla naukowców
Przewodnik dla naukowców: efektywne metody AI, pomiar i raportowanie energii w publikacjach, budżety obliczeniowe, finansowanie i rola matematyki.