greenai.guide

Home › Come faccio a…? › Come riduco l'energia necessaria per addestrare un modello?

Come faccio a…?

Come riduco l'energia necessaria per addestrare un modello?

Aggiornato · 1 min di lettura

In breve

Parta da un modello preaddestrato dove possibile, scelga l'architettura più piccola in grado di raggiungere il Suo livello, addestri in precisione mista, si fermi quando la validazione smette di migliorare ed esegua su hardware efficiente in una regione e in un orario a basse emissioni. Patterson e colleghi hanno rilevato che la scelta di modello, data centre e processore può ridurre l'impronta di carbonio dell'addestramento fino a circa 100-1.000 volte. Misuri ogni esecuzione, così che i compromessi siano visibili.

Passaggi

  1. Verifichi se si può fare il fine-tuning (affinamento) di un modello preaddestrato invece di addestrarne uno da zero.
  2. Provi le idee su piccola scala prima di lanciare un'esecuzione completa.
  3. Addestri in precisione mista e si fermi presto quando la validazione smette di migliorare.
  4. Usi acceleratori efficienti in una regione a basse emissioni e pianifichi le esecuzioni flessibili nelle ore più pulite.
  5. Salvi checkpoint, così che le esecuzioni possano essere sospese e riprese senza ricominciare.
  6. Tenga traccia di energia ed emissioni di ogni esecuzione, comprese quelle fallite.

L'energia dell'addestramento dipende soprattutto da decisioni prese prima che l'esecuzione cominci. Che cosa addestra, su che cosa, dove e quando conta più di qualsiasi ritocco durante l'esecuzione.

Perché è importante?

L'articolo del 2019 di Strubell, Ganesh e McCallum ha quantificato il costo economico e ambientale dell'addestramento dei modelli linguistici e ha proposto modi per ridurlo. In seguito Patterson e colleghi hanno rilevato che la scelta dell'architettura del modello, del data centre e del processore può ridurre l'impronta di carbonio dell'addestramento fino a circa 100-1.000 volte.

Che cosa fa la differenza maggiore?

  1. Non addestrare da zero. Il fine-tuning di un modello preaddestrato, o di un adattatore su di esso, costa di solito una minima frazione del preaddestramento. Veda come evitare di addestrare da zero.
  2. Le giuste dimensioni. Un'architettura più piccola che raggiunge il livello richiesto è meglio di una grande che lo supera.
  3. Precisione mista. Nel lavoro di Micikevicius e colleghi, addestrare a mezza precisione con una copia master a precisione piena ha quasi dimezzato l'uso di memoria, permettendo di far entrare batch più grandi nello stesso hardware.
  4. Arresto anticipato. Termini le esecuzioni quando la perdita di validazione si stabilizza.
  5. Dove e quando. Scelga acceleratori efficienti e una regione a basse emissioni, ed esegua i job flessibili quando la rete è più pulita: veda come pianificare l'addestramento.

Errori comuni

  • Contare solo l'esecuzione finale. La messa a punto e le esecuzioni fallite spesso costano di più; veda come ridurre l'energia delle ricerche di iperparametri.
  • Non salvare checkpoint, così che un'interruzione obblighi a ricominciare.
  • Nessuna misura. Inserisca uno strumento di tracciamento come CodeCarbon nello script di addestramento.

Per tutti gli strumenti, legga addestramento e inferenza efficienti.

Fonti

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
  3. Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
  4. CodeCarbon, CodeCarbon (2026)

Si unisca a noi

Aiuti a ridurre l'impatto dell'IA sul pianeta

Riceva per email nuove guide, bandi di finanziamento e schede delle directory, circa una volta al mese. Oppure aggiunga il suo prodotto, corso, dottorato o ricerca alle directory.

Nessun tracciamento. Disiscrizione con un clic. Altri modi per partecipare · Privacy