greenai.guide

Strona główna › Jak…? › Jak zmniejszyć zużycie energii przy przeszukiwaniu hiperparametrów?

Jak…?

Jak zmniejszyć zużycie energii przy przeszukiwaniu hiperparametrów?

Aktualizacja · Czas czytania: 1 min

W skrócie

Zamiast dużego przeszukiwania siatki należy stosować przeszukiwanie losowe lub adaptacyjne, wcześnie przerywać słabe próby, najpierw prowadzić pilotaże na małych danych lub małych modelach i zaczynać od opublikowanych ustawień domyślnych dla danej architektury. Energię należy śledzić dla każdej próby, a nie tylko dla zwycięskiej, i ustalić budżet obliczeniowy przed rozpoczęciem. Przebiegi strojenia często kosztują więcej niż końcowe trenowanie i rzadko są raportowane.

Kroki

  1. Przed rozpoczęciem ustalić budżet obliczeniowy na przeszukiwanie.
  2. Zacząć od opublikowanych domyślnych hiperparametrów dla danej rodziny modeli.
  3. Stosować przeszukiwanie losowe lub adaptacyjne zamiast pełnej siatki.
  4. Wcześnie przerywać próby, które są wyraźnie gorsze od dotychczas najlepszej.
  5. Przed skalowaniem przeprowadzić pilotaż na podzbiorze danych lub mniejszym modelu.
  6. Zapisywać energię i emisje każdej próby razem z dokładnością.

Należy stroić mądrzej, a nie szerzej. Pełna siatka wielu hiperparametrów mnoży koszt trenowania przez liczbę kombinacji, a większość tych przebiegów już na wczesnym etapie jest wyraźnie gorsza.

Dlaczego to ważne?

Artykuł Strubell, Ganesha i McCalluma z 2019 roku określił ilościowo koszt opracowywania modeli językowych, w tym towarzyszących temu eksperymentów, a nie tylko jednego końcowego trenowania. Schwartz i współpracownicy w pracy „Green AI” argumentowali, że badacze powinni podawać koszt obliczeniowy swoich wyników, w tym eksperymentów potrzebnych do ich osiągnięcia, tak aby wydajność była ceniona na równi z dokładnością.

Co daje największą różnicę?

  • Wczesne przerywanie słabych prób. Metody typu successive halving dają każdej próbie mały budżet i kontynuują tylko obiecujące. Obsługuje to większość bibliotek do strojenia.
  • Przeszukiwanie losowe lub adaptacyjne. Zamiast uruchamiać każdą kombinację, można losować ustawienia albo pozwolić metodzie adaptacyjnej wybierać kolejną próbę na podstawie wcześniejszych wyników.
  • Małe pilotaże. Pomysły można odrzucać na podzbiorze danych lub mniejszym modelu.
  • Najpierw ustawienia domyślne. Dobrze przetestowane ustawienia domyślne dla popularnych architektur są często bliskie optymalnym.
  • Śledzenie każdej próby. Dokumentacja CodeCarbon pokazuje, jak śledzić każdą konfigurację i porównywać dokładność z emisjami.

Częste błędy

Więcej w przewodniku dla badaczy.

Źródła

  1. Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
  2. Green AI, Schwartz, Dodge, Smith and Etzioni, Communications of the ACM (2020)
  3. Comparing model efficiency with carbon tracking, CodeCarbon documentation (2025)

Dołącz do nas

Pomóżmy zmniejszyć wpływ AI na planetę

Nowe przewodniki, nabory wniosków i wpisy w katalogach e-mailem, mniej więcej raz w miesiącu. Można też dodać do katalogów swój produkt, kurs, ofertę studiów doktoranckich lub badania.

Bez śledzenia. Rezygnacja jednym kliknięciem. Inne sposoby dołączenia · Prywatność