greenai.guide

Home › Come faccio a…? › Come stabilisco un budget di calcolo per un progetto di ricerca?

Come faccio a…?

Come stabilisco un budget di calcolo per un progetto di ricerca?

Aggiornato · 1 min di lettura

In breve

Stimi le ore-GPU necessarie per gli esperimenti principali, aggiunga un margine per l'esplorazione e segua l'uso rispetto a quel budget come si fa con il denaro. Provi le idee su piccola scala, fermi presto le esecuzioni poco promettenti, riusi modelli preaddestrati e checkpoint e riporti i risultati in rapporto al calcolo che hanno richiesto. Un budget rende visibili i compromessi e mette fine alla messa a punto senza fine.

Passaggi

  1. Stimi le ore-GPU per gli esperimenti principali e aggiunga un margine dichiarato per l'esplorazione.
  2. Esegua prove pilota su piccola scala per scartare idee prima di passare a una scala maggiore.
  3. Segua ore-GPU ed energia di ogni esperimento rispetto al budget.
  4. Usi l'arresto anticipato per le esecuzioni scarse invece di grandi ricerche a griglia.
  5. Riusi modelli preaddestrati e checkpoint dove sono adatti.
  6. Riporti i risultati in rapporto al calcolo, come l'accuratezza per kWh.

Decida in anticipo quanto calcolo può usare il progetto, e lo tenga sotto controllo. Senza un budget le esecuzioni aggiuntive sembrano gratuite, e l'energia di un piccolo guadagno di accuratezza non viene mai messa sulla bilancia.

Come stimo il budget?

Parta dagli esperimenti del Suo piano: dimensione del modello, dimensione dei dati e numero di esecuzioni danno una stima approssimativa delle ore-GPU. Il calcolatore Green Algorithms di Lannelongue, Grealey e Inouye trasforma hardware, tempo di esecuzione, memoria e luogo in una stima di energia e carbonio, che aiuta a capire che cosa significa il budget. Aggiunga un margine esplicito per l'esplorazione invece di lasciarlo indefinito.

Che cosa mantiene un progetto entro il budget?

  • Prima piccole prove pilota. Scarti le idee su modelli piccoli e sottoinsiemi di dati.
  • Ricerche efficienti. Fermi presto le esecuzioni scarse; veda ridurre l'energia delle ricerche di iperparametri.
  • Riuso. Parta da modelli preaddestrati e checkpoint salvati; veda evitare di addestrare da zero.
  • Scelga dove e su che cosa eseguire. Patterson e colleghi hanno rilevato che la scelta di modello, data centre e processore può ridurre l'impronta di carbonio dell'addestramento fino a circa 100-1.000 volte.

Errori comuni

  • Mettere a budget solo le esecuzioni finali. L'esplorazione di solito rappresenta la maggior parte del calcolo.
  • Nessun checkpoint, così che un guasto obbliga a ricominciare.
  • Riportare solo l'accuratezza migliore, il che premia chi spende di più.

I principi GREENER di Lannelongue e colleghi offrono un quadro di riferimento per gruppi e istituzioni. Veda la guida per i ricercatori.

Fonti

  1. GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
  2. Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
  3. Carbon emissions and large neural network training, Patterson et al. (2021)

Si unisca a noi

Aiuti a ridurre l'impatto dell'IA sul pianeta

Riceva per email nuove guide, bandi di finanziamento e schede delle directory, circa una volta al mese. Oppure aggiunga il suo prodotto, corso, dottorato o ricerca alle directory.

Nessun tracciamento. Disiscrizione con un clic. Altri modi per partecipare · Privacy