In breve
Stimi le ore-GPU necessarie per gli esperimenti principali, aggiunga un margine per l'esplorazione e segua l'uso rispetto a quel budget come si fa con il denaro. Provi le idee su piccola scala, fermi presto le esecuzioni poco promettenti, riusi modelli preaddestrati e checkpoint e riporti i risultati in rapporto al calcolo che hanno richiesto. Un budget rende visibili i compromessi e mette fine alla messa a punto senza fine.
Passaggi
- Stimi le ore-GPU per gli esperimenti principali e aggiunga un margine dichiarato per l'esplorazione.
- Esegua prove pilota su piccola scala per scartare idee prima di passare a una scala maggiore.
- Segua ore-GPU ed energia di ogni esperimento rispetto al budget.
- Usi l'arresto anticipato per le esecuzioni scarse invece di grandi ricerche a griglia.
- Riusi modelli preaddestrati e checkpoint dove sono adatti.
- Riporti i risultati in rapporto al calcolo, come l'accuratezza per kWh.
Decida in anticipo quanto calcolo può usare il progetto, e lo tenga sotto controllo. Senza un budget le esecuzioni aggiuntive sembrano gratuite, e l'energia di un piccolo guadagno di accuratezza non viene mai messa sulla bilancia.
Come stimo il budget?
Parta dagli esperimenti del Suo piano: dimensione del modello, dimensione dei dati e numero di esecuzioni danno una stima approssimativa delle ore-GPU. Il calcolatore Green Algorithms di Lannelongue, Grealey e Inouye trasforma hardware, tempo di esecuzione, memoria e luogo in una stima di energia e carbonio, che aiuta a capire che cosa significa il budget. Aggiunga un margine esplicito per l'esplorazione invece di lasciarlo indefinito.
Che cosa mantiene un progetto entro il budget?
- Prima piccole prove pilota. Scarti le idee su modelli piccoli e sottoinsiemi di dati.
- Ricerche efficienti. Fermi presto le esecuzioni scarse; veda ridurre l'energia delle ricerche di iperparametri.
- Riuso. Parta da modelli preaddestrati e checkpoint salvati; veda evitare di addestrare da zero.
- Scelga dove e su che cosa eseguire. Patterson e colleghi hanno rilevato che la scelta di modello, data centre e processore può ridurre l'impronta di carbonio dell'addestramento fino a circa 100-1.000 volte.
Errori comuni
- Mettere a budget solo le esecuzioni finali. L'esplorazione di solito rappresenta la maggior parte del calcolo.
- Nessun checkpoint, così che un guasto obbliga a ricominciare.
- Riportare solo l'accuratezza migliore, il che premia chi spende di più.
I principi GREENER di Lannelongue e colleghi offrono un quadro di riferimento per gruppi e istituzioni. Veda la guida per i ricercatori.
Fonti
- GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
- Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
- Carbon emissions and large neural network training, Patterson et al. (2021)
Correlati
Come riduco l'energia della ricerca degli iperparametri?
Come ottimizzare i modelli con meno calcolo: ricerche più intelligenti delle griglie complete, arresto precoce delle prove scarse, piccoli test pilota e un budget.
Come riporto il consumo di energia della mia ricerca sull'IA?
Che cosa inserire in un articolo su calcolo ed energia: hardware, ore-GPU di tutte le esecuzioni, energia, luogo, carbonio, costo d'inferenza e perimetro.
Come riduco l'impronta degli esperimenti di IA su un cluster di ricerca?
Riduca l'energia degli esperimenti di IA su HPC: legga la contabilità energetica di Slurm, chieda solo ciò che usa, faccia prove piccole, usi checkpoint e pianifichi.
IA verde per i ricercatori
Guida per i ricercatori su metodi di IA efficienti, misura e rendicontazione dell'energia negli articoli, budget di calcolo, finanziamenti e ruolo della matematica.