greenai.guide

Home › Come faccio a…? › Come faccio il pruning di una rete neurale?

Come faccio a…?

Come faccio il pruning di una rete neurale?

Aggiornato · 1 min di lettura

In breve

Poti una rete addestrata eliminando i pesi, i neuroni o gli strati che contribuiscono di meno, poi esegua un breve fine-tuning (affinamento) perché si riprenda e la verifichi rispetto al Suo livello di qualità. Il pruning ha ridotto di nove volte i parametri di AlexNet senza perdita di accuratezza, e modelli linguistici molto grandi sono stati potati in un solo passaggio ad almeno il 50% di sparsità. Preferisca il pruning strutturato se vuole che l'hardware comune li esegua più velocemente.

Passaggi

  1. Misuri prima accuratezza, latenza ed energia del modello non potato.
  2. Scelga il pruning strutturato (interi neuroni, teste o strati), a meno che il Suo hardware non sfrutti i pesi sparsi.
  3. Rimuova una quota moderata di pesi in base all'importanza, ad esempio quelli di modulo più piccolo.
  4. Esegua un breve fine-tuning per permettere alla rete di riprendersi.
  5. Ripeta per passi, verificando ogni volta, e si fermi quando la qualità scende sotto il Suo livello.

Le reti grandi di solito hanno molti più pesi di quanti ne servano al loro compito, quindi molti si possono eliminare dopo l'addestramento. Il pruning (potatura) rende il modello più piccolo e, sull'hardware adatto, meno costoso da eseguire.

Che cosa dicono i dati?

Han e colleghi hanno mostrato nel 2015 che il pruning riduceva di nove volte i parametri del modello per immagini AlexNet e di tredici volte quelli di VGG-16, senza perdita di accuratezza. L'ipotesi del biglietto della lotteria di Frankle e Carbin ha rilevato che le reti grandi contengono sottoreti molto più piccole in grado di eguagliare l'accuratezza della rete completa. Per i modelli linguistici, SparseGPT di Frantar e Alistarh ha potato modelli molto grandi ad almeno il 50% di sparsità in un solo passaggio, senza riaddestramento, con un lieve aumento della perplessità.

Strutturato o non strutturato?

  • Il pruning non strutturato rimuove singoli pesi. Può eliminarne di più, ma lascia zeri sparsi che le normali GPU e CPU spesso non riescono a saltare.
  • Il pruning strutturato rimuove interi neuroni, teste di attenzione, canali o strati. Ne elimina meno, ma il modello più piccolo gira più velocemente su qualsiasi hardware.

Errori comuni

  • Contare gli zeri invece di misurare l'energia. I risparmi teorici spesso superano quelli misurati. Un sandpit (laboratorio di ricerca intensivo e collaborativo) britannico sull'IA verde del 2026, che ha riunito matematici, informatici e industria, ha osservato che la sparsità resta poco sfruttata anche perché i chip più diffusi faticano a trarne vantaggio.
  • Potare troppo in una volta. Proceda per passi e faccia fine-tuning tra un passo e l'altro.
  • Verificare solo sui benchmark. Controlli i Suoi casi, compresi quelli rari, che il pruning può danneggiare per primi.

La rassegna del 2021 di Hoefler e colleghi, su oltre 300 articoli, è la guida di riferimento. Per la teoria, legga la matematica per un'IA efficiente.

Fonti

  1. Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
  2. SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
  3. Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
  4. The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)

Si unisca a noi

Aiuti a ridurre l'impatto dell'IA sul pianeta

Riceva per email nuove guide, bandi di finanziamento e schede delle directory, circa una volta al mese. Oppure aggiunga il suo prodotto, corso, dottorato o ricerca alle directory.

Nessun tracciamento. Disiscrizione con un clic. Altri modi per partecipare · Privacy