# La matematica che rende l'IA più efficiente

> Pruning, sparsità, sketching, teoria delle matrici aleatorie e modelli informati dalla fisica: come la matematica riduce calcolo, memoria ed energia dell'IA.

Source: https://greenai.guide/it/articoli/la-matematica-che-rende-l-ia-piu-efficiente/  
Updated: 2026-11-19

## In breve

Gran parte dell'energia che l'IA consuma va in calcoli e spostamenti di dati di cui il compito non ha bisogno. Metodi matematici come il pruning (potatura), la sparsità, lo sketching randomizzato, la teoria delle matrici aleatorie e i modelli con una struttura incorporata eliminano questa ridondanza, spesso con una perdita di accuratezza minima o nulla. Fanno risparmiare energia solo quando i risparmi vengono misurati e non semplicemente spesi in modelli più grandi.

## Punti chiave

- Le grandi reti neurali sono sovraparametrizzate; dopo l'addestramento il pruning può eliminarne la maggior parte dei pesi con una perdita di accuratezza minima.
- La sparsità fa risparmiare energia solo quando hardware e software possono saltare gli zeri; altrimenti è un risparmio sulla carta.
- Spostare i dati costa spesso più energia dell'aritmetica, quindi contano i metodi che riducono il traffico di memoria, come lo sketching e l'attenzione consapevole dell'IO.
- Incorporare in un modello la fisica o le simmetrie note può ridurre i parametri e i dati di cui ha bisogno.
- I metodi numerici classici sono a volte la risposta più verde, e una pipeline ibrida può usare una piccola rete solo dove serve.

Gran parte dell'energia che una rete neurale consuma va in due cose: l'aritmetica e lo spostamento dei numeri tra la
memoria e il processore. La matematica può ridurle entrambe. Questo articolo spiega in parole semplici i metodi
principali, con gli articoli scientifici che li sostengono, e il punto in cui ciascuno smette di convenire.

Un sandpit (laboratorio di ricerca collaborativo) britannico sulla green AI del 2026, che riuniva matematici,
informatici e industria, ha messo al centro questa domanda: come possono le scienze matematiche ridurre l'energia e le
risorse di cui l'IA ha bisogno mentre la domanda cresce? I metodi che seguono sono quelli emersi più spesso, confrontati
con i dati pubblicati.

## Perché c'è ridondanza da eliminare? {#why-is-there-redundancy-to-remove}

**I grandi modelli sono più grandi di quanto il compito richieda strettamente, perché le dimensioni li rendono più
facili da addestrare.** L'addestramento funziona meglio in uno spazio ad alta dimensionalità, ma una volta concluso
molti dei pesi aggiungono poco.

Questo lascia spazio a tre tipi di risparmio: meno pesi (pruning), meno valori attivi in ogni momento (sparsità) e meno
spostamento di dati (sketching e algoritmi attenti alla memoria). Un quarto tipo evita la ridondanza fin dall'inizio,
incorporando nel modello una struttura nota.

## Che cos'è il pruning, e quanto può eliminare? {#what-is-pruning-and-how-much-can-it-remove}

**Il pruning (potatura) elimina i pesi che contribuiscono meno, poi lascia che la rete si riprenda.** Nel 2015 Han e
colleghi hanno dimostrato che il pruning riduceva di nove volte i parametri del modello di immagini AlexNet e di tredici
volte quelli di VGG-16, senza perdita di accuratezza.

Lavori successivi hanno affinato l'idea:

- L'**ipotesi del biglietto vincente** (lottery ticket hypothesis; Frankle e Carbin, 2019) ha rilevato che le grandi
  reti contengono sotto-reti molto più piccole che, addestrate dal giusto punto di partenza, eguagliano l'accuratezza
  della rete completa.
- **SparseGPT** (Frantar e Alistarh, 2023) ha potato modelli linguistici molto grandi fino ad almeno il 50% di sparsità
  in un solo passaggio, senza riaddestramento, con un lieve aumento della perplessità.
- La rassegna del 2021 di Hoefler e colleghi, su più di 300 articoli, è la guida di riferimento per capire quando il
  pruning funziona e quando no.

## La sparsità fa davvero risparmiare energia? {#does-sparsity-actually-save-energy}

**Solo se gli zeri vengono saltati.** Una matrice composta all'80% da zeri costa comunque l'intero importo se l'hardware
moltiplica ogni elemento. È utile distinguere la sparsità *non strutturata* (zeri sparsi ovunque) da quella
*strutturata* (interi blocchi, canali o schemi di zeri), che i chip standard possono sfruttare molto più facilmente.

La sparsità si può trovare in due punti:

- **Nei pesi**, attraverso il pruning.
- **Nelle attivazioni**, i valori che scorrono nella rete per un dato input. Kurtz e colleghi (2020) hanno dimostrato
  che alzare la soglia della funzione di attivazione ReLU rende esattamente zero molte più attivazioni, che possono
  poi essere saltate in inferenza. Mirzadeh e colleghi (2024) hanno sostenuto che i grandi modelli linguistici che usano
  attivazioni ReLU possono sfruttare lo stesso effetto per ridurre il calcolo.

La sparsità delle attivazioni è *dinamica*: quali valori sono zero cambia a ogni input. Questo la rende più difficile da
sfruttare in hardware, ed è uno dei motivi per cui il sandpit ha trattato la progettazione congiunta di hardware e
software come parte della matematica, non come un ripensamento.

## Perché lo spostamento dei dati conta così tanto? {#why-does-data-movement-matter-so-much}

**Prelevare un numero dalla memoria può costare più energia che farci un calcolo.** Gli algoritmi che spostano meno dati
spesso fanno risparmiare più di quelli che fanno meno operazioni.

Due famiglie di metodi affrontano il problema:

- **Sketching randomizzato.** Uno sketch è una proiezione casuale, molto più piccola, di una grande matrice che ne
  conserva le proprietà che servono. L'articolo del 2011 di Halko, Martinsson e Tropp e la rassegna del 2020 di
  Martinsson e Tropp espongono la teoria dell'algebra lineare numerica randomizzata, che fornisce limiti d'errore
  dimostrabili per queste approssimazioni. Applicati alle reti neurali, gli sketch possono comprimere grandi risultati
  intermedi prima che vengano spostati fuori dal chip.
- **Algoritmi consapevoli dell'IO.** FlashAttention (Dao e colleghi, 2022) calcola esattamente lo stesso risultato di
  attenzione del metodo standard, ma riorganizza il lavoro per ridurre letture e scritture tra la memoria grande e lenta
  di una GPU e quella piccola e veloce. Il risparmio viene dalla pianificazione, non dall'approssimazione.

## Che cosa aggiunge la teoria delle matrici aleatorie? {#what-does-random-matrix-theory-add}

**La teoria delle matrici aleatorie descrive come si comportano le grandi matrici casuali, che è ciò che sono i pesi di
una rete neurale all'inizio dell'addestramento.** Questo permette ai matematici di prevedere le proprietà di una rete
prima di addestrarla.

Pennington e Worah (2017) l'hanno usata per analizzare come i segnali attraversano le reti larghe. Martin e Mahoney
(2021) hanno studiato gli spettri delle matrici dei pesi addestrate e hanno trovato schemi che indicano quanto bene ha
imparato uno strato. Risultati di questo tipo aiutano a fissare i livelli di sparsità e a individuare gli strati più
grandi del necessario, senza i tentativi ed errori di addestrare molte varianti.

## La struttura può sostituire dati e parametri? {#can-structure-replace-data-and-parameters}

**Sì, dove la struttura è nota.** Se un problema obbedisce a una legge fisica o a una simmetria, un modello che ha
questa conoscenza incorporata non deve impararla dai dati.

- Le **reti neurali informate dalla fisica** (Raissi, Perdikaris e Karniadakis, 2019) aggiungono le equazioni che
  governano il fenomeno all'obiettivo di addestramento, così che la rete venga penalizzata per risposte fisicamente
  impossibili.
- Il **deep learning geometrico** (Bronstein e colleghi, 2021) progetta reti che rispettano simmetrie come la rotazione
  o la permutazione, così che abbiano bisogno di meno parametri ed esempi.
- L'**algorithm unrolling** (srotolamento dell'algoritmo; Monga, Li ed Eldar, 2021) trasforma i passi di un algoritmo
  iterativo classico negli strati di una rete, il che produce modelli piccoli e interpretabili.

Un'idea collegata è emersa più volte al sandpit: le **pipeline ibride**. Mantenere il metodo classico o basato sulla
fisica per i passaggi che svolge bene e usare una piccola rete solo per la parte adatta all'apprendimento, per esempio
come surrogato di un singolo componente costoso di una simulazione. A volte la risposta più verde è un metodo numerico
esistente, senza alcuna rete neurale.

## Dove si inseriscono la differenziazione automatica e la quantizzazione? {#where-do-automatic-differentiation-and-quantisation-fit}

**La differenziazione automatica (AD) calcola le derivate esatte di un programma, ed è il motore dell'addestramento.**
La retropropagazione (backpropagation) è AD in modalità inversa, come spiega la rassegna del 2018 di Baydin e colleghi.
Un'AD efficiente conta di per sé per la green AI, ed è ciò che rende possibili tecniche come l'addestramento
consapevole del pruning e le penalità energetiche differenziabili.

**La quantizzazione memorizza i numeri con meno bit**, per esempio interi a 8 bit invece di numeri in virgola mobile a
32 bit. Jacob e colleghi (2018) hanno mostrato come addestrare reti per un'inferenza con soli interi, il che riduce
memoria ed energia per operazione. Meno bit significano anche meno dati da spostare.

## Si possono riutilizzare i modelli invece di addestrarne di nuovi? {#can-we-reuse-models-instead-of-training-new-ones}

**Spesso sì.** Wortsman e colleghi (2022) hanno dimostrato che fare la media dei pesi di diverse versioni messe a punto
(fine-tuned) dello stesso modello, una "zuppa di modelli" (model soup), può migliorare l'accuratezza senza alcun costo
aggiuntivo in inferenza. Fondere e adattare modelli esistenti evita di ripetere il costo dell'addestramento da zero.
[Orchestrare invece di generare](/it/articoli/orchestrare-invece-di-generare/) porta più avanti la stessa idea di riuso.

## Quali sono i limiti? {#what-are-the-limits}

**I guadagni di efficienza sono reali, ma non sono automaticamente risparmi.** Tre avvertenze valgono per tutti i
metodi descritti sopra:

- Un risparmio sulla carta (meno parametri, meno operazioni) va confermato misurando l'energia su hardware reale.
  Veda [misurare l'energia dell'IA](/it/buone-pratiche/come-misurare-l-energia-e-il-carbonio-dell-ia/).
- L'accuratezza va verificata sul compito effettivo, non solo su una media di benchmark.
- Il calcolo più economico tende a essere usato per fare più calcolo. [Efficienza non è sufficienza](/it/articoli/efficienza-non-e-sufficienza-l-effetto-rimbalzo-nell-ia/)
  spiega questo effetto rimbalzo.

## Che cosa fare adesso {#what-to-do-next}

- Se addestra o mette a punto modelli, provi prima il pruning e la quantizzazione dopo l'addestramento: sono i
  vantaggi più economici. Veda [addestramento e inferenza efficienti](/it/buone-pratiche/addestramento-e-inferenza-efficienti-per-l-ia/).
- Verifichi che il suo hardware e le sue librerie sfruttino davvero la sparsità prima di contarci.
- Prima di ricorrere a una rete neurale, si chieda se un metodo classico, o uno ibrido, risolve già il problema.
- Misuri l'energia prima e dopo ogni modifica, sull'hardware che userà.
- Ricercatori: cerchino progetti finanziati e dottorati sull'IA efficiente negli elenchi di [ricerca](/it/ricerca/) e dei
  [dottorati](/it/dottorati/), e vedano la [guida per ricercatori](/it/guide/ia-verde-per-i-ricercatori/).

## Domande frequenti

### Che cos'è il pruning nell'IA?

Il pruning (potatura) elimina da una rete neurale addestrata i pesi o interi neuroni che contribuiscono poco al suo output. La rete più piccola richiede meno memoria e, su hardware adatto, meno calcolo ed energia.

### Un modello sparso consuma sempre meno energia?

No. Un modello pieno di zeri fa risparmiare energia solo se hardware e software li saltano. Su una GPU standard la sparsità non strutturata può non essere più veloce del modello denso, ed è per questo che contano la sparsità strutturata e i kernel sparsi.

### Che cos'è una rete neurale informata dalla fisica?

Una rete neurale addestrata a rispettare leggi fisiche note, di solito aggiungendo le equazioni che governano il fenomeno alla sua funzione di perdita. Incorporare questa conoscenza significa che la rete ha bisogno di meno dati per imparare una soluzione utile.

### La matematica può davvero fare la differenza accanto a chip migliori?

Sì, e le due cose si sommano. Algoritmi migliori riducono il lavoro da fare; hardware migliore svolge quel lavoro a un costo minore. Diversi tra i maggiori risparmi nell'IA, come la quantizzazione e l'attenzione efficiente, sono venuti dalla matematica e dagli algoritmi più che da nuovi chip.

## Fonti

- [Learning both weights and connections for efficient neural networks](https://arxiv.org/abs/1506.02626), Han, Pool, Tran and Dally, NeurIPS (2015)
- [The lottery ticket hypothesis: finding sparse, trainable neural networks](https://arxiv.org/abs/1803.03635), Frankle and Carbin, ICLR (2019)
- [Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks](https://jmlr.org/papers/v22/21-0366.html), Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- [SparseGPT: massive language models can be accurately pruned in one-shot](https://arxiv.org/abs/2301.00774), Frantar and Alistarh, ICML (2023)
- [Inducing and exploiting activation sparsity for fast inference on deep neural networks](https://proceedings.mlr.press/v119/kurtz20a.html), Kurtz et al., ICML (2020)
- [ReLU strikes back: exploiting activation sparsity in large language models](https://arxiv.org/abs/2310.04564), Mirzadeh et al., ICLR (2024)
- [Finding structure with randomness: probabilistic algorithms for constructing approximate matrix decompositions](https://doi.org/10.1137/090771806), Halko, Martinsson and Tropp, SIAM Review (2011)
- [Randomized numerical linear algebra: foundations and algorithms](https://doi.org/10.1017/S0962492920000021), Martinsson and Tropp, Acta Numerica (2020)
- [FlashAttention: fast and memory-efficient exact attention with IO-awareness](https://arxiv.org/abs/2205.14135), Dao, Fu, Ermon, Rudra and Ré, NeurIPS (2022)
- [Implicit self-regularization in deep neural networks: evidence from random matrix theory and implications for learning](https://jmlr.org/papers/v22/20-410.html), Martin and Mahoney, Journal of Machine Learning Research (2021)
- [Nonlinear random matrix theory for deep learning](https://papers.nips.cc/paper/6857-nonlinear-random-matrix-theory-for-deep-learning), Pennington and Worah, NeurIPS (2017)
- [Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations](https://doi.org/10.1016/j.jcp.2018.10.045), Raissi, Perdikaris and Karniadakis, Journal of Computational Physics (2019)
- [Geometric deep learning: grids, groups, graphs, geodesics, and gauges](https://arxiv.org/abs/2104.13478), Bronstein, Bruna, Cohen and Veličković (2021)
- [Algorithm unrolling: interpretable, efficient deep learning for signal and image processing](https://arxiv.org/abs/1912.10557), Monga, Li and Eldar, IEEE Signal Processing Magazine (2021)
- [Automatic differentiation in machine learning: a survey](https://jmlr.org/papers/v18/17-468.html), Baydin, Pearlmutter, Radul and Siskind, Journal of Machine Learning Research (2018)
- [Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time](https://arxiv.org/abs/2203.05482), Wortsman et al., ICML (2022)
- [Quantization and training of neural networks for efficient integer-arithmetic-only inference](https://arxiv.org/abs/1712.05877), Jacob et al., CVPR (2018)
