In breve
Parta da un modello preaddestrato dove possibile, scelga l'architettura più piccola in grado di raggiungere il Suo livello, addestri in precisione mista, si fermi quando la validazione smette di migliorare ed esegua su hardware efficiente in una regione e in un orario a basse emissioni. Patterson e colleghi hanno rilevato che la scelta di modello, data centre e processore può ridurre l'impronta di carbonio dell'addestramento fino a circa 100-1.000 volte. Misuri ogni esecuzione, così che i compromessi siano visibili.
Passaggi
- Verifichi se si può fare il fine-tuning (affinamento) di un modello preaddestrato invece di addestrarne uno da zero.
- Provi le idee su piccola scala prima di lanciare un'esecuzione completa.
- Addestri in precisione mista e si fermi presto quando la validazione smette di migliorare.
- Usi acceleratori efficienti in una regione a basse emissioni e pianifichi le esecuzioni flessibili nelle ore più pulite.
- Salvi checkpoint, così che le esecuzioni possano essere sospese e riprese senza ricominciare.
- Tenga traccia di energia ed emissioni di ogni esecuzione, comprese quelle fallite.
L'energia dell'addestramento dipende soprattutto da decisioni prese prima che l'esecuzione cominci. Che cosa addestra, su che cosa, dove e quando conta più di qualsiasi ritocco durante l'esecuzione.
Perché è importante?
L'articolo del 2019 di Strubell, Ganesh e McCallum ha quantificato il costo economico e ambientale dell'addestramento dei modelli linguistici e ha proposto modi per ridurlo. In seguito Patterson e colleghi hanno rilevato che la scelta dell'architettura del modello, del data centre e del processore può ridurre l'impronta di carbonio dell'addestramento fino a circa 100-1.000 volte.
Che cosa fa la differenza maggiore?
- Non addestrare da zero. Il fine-tuning di un modello preaddestrato, o di un adattatore su di esso, costa di solito una minima frazione del preaddestramento. Veda come evitare di addestrare da zero.
- Le giuste dimensioni. Un'architettura più piccola che raggiunge il livello richiesto è meglio di una grande che lo supera.
- Precisione mista. Nel lavoro di Micikevicius e colleghi, addestrare a mezza precisione con una copia master a precisione piena ha quasi dimezzato l'uso di memoria, permettendo di far entrare batch più grandi nello stesso hardware.
- Arresto anticipato. Termini le esecuzioni quando la perdita di validazione si stabilizza.
- Dove e quando. Scelga acceleratori efficienti e una regione a basse emissioni, ed esegua i job flessibili quando la rete è più pulita: veda come pianificare l'addestramento.
Errori comuni
- Contare solo l'esecuzione finale. La messa a punto e le esecuzioni fallite spesso costano di più; veda come ridurre l'energia delle ricerche di iperparametri.
- Non salvare checkpoint, così che un'interruzione obblighi a ricominciare.
- Nessuna misura. Inserisca uno strumento di tracciamento come CodeCarbon nello script di addestramento.
Per tutti gli strumenti, legga addestramento e inferenza efficienti.
Fonti
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- CodeCarbon, CodeCarbon (2026)
Correlati
Addestramento e inferenza efficienti per l'IA
Tecniche per sviluppatori e ricercatori per ridurre l'energia dell'IA: pruning, sparsità, quantizzazione, distillazione, KV cache, batching, precisione mista e pianificazione.
Come evito di addestrare un modello da zero?
Come riutilizzare modelli esistenti invece di preaddestrarne uno proprio: fine-tuning, adattamento con LoRA, fusione di modelli o recupero di conoscenza.
Come pianifico l'addestramento quando la rete elettrica è più verde?
Esegua addestramento e lavori di IA in batch quando l'intensità di carbonio della rete è bassa: usi le previsioni, preveda checkpoint e tratti le scadenze come limiti rigidi.
Come misuro l'impronta di carbonio dell'addestramento di un modello?
Monitori l'energia di un addestramento con uno strumento come CodeCarbon, la moltiplichi per l'intensità di carbonio della rete locale e riporti hardware, durata e luogo.