# A matemática que torna a IA mais eficiente

> Poda, esparsidade, sketching, teoria de matrizes aleatórias e modelos informados pela física: como a matemática reduz a computação, a memória e a energia da IA.

Source: https://greenai.guide/pt/artigos/a-matematica-que-torna-a-ia-mais-eficiente/  
Updated: 2026-11-19

## Em resumo

Boa parte da energia que a IA usa vai para computação e movimentação de dados de que a tarefa não precisa. Métodos matemáticos como poda, esparsidade, sketching aleatorizado, teoria de matrizes aleatórias e modelos com estrutura embutida eliminam essa redundância, muitas vezes com pouca ou nenhuma perda de precisão. Eles só poupam energia quando a economia é medida e não é simplesmente gasta em modelos maiores.

## Pontos-chave

- Redes neurais grandes são superparametrizadas; a poda pode remover a maioria de seus pesos após o treinamento com pouca perda de precisão.
- A esparsidade só poupa energia quando o hardware e o software conseguem pular os zeros; caso contrário, é uma economia só no papel.
- Movimentar dados muitas vezes custa mais energia que a aritmética, então métodos que reduzem o tráfego de memória, como o sketching e a atenção ciente de E/S, importam.
- Incorporar a física conhecida ou simetrias a um modelo pode reduzir os parâmetros e os dados de que ele precisa.
- Métodos numéricos clássicos às vezes são a resposta mais verde, e um pipeline híbrido pode usar uma rede pequena só onde ela ajuda.

A maior parte da energia que uma rede neural usa vai para duas coisas: aritmética e movimentação de números entre a
memória e o processador. A matemática pode reduzir as duas. Este artigo explica os principais métodos em termos
simples, com os artigos publicados que os sustentam, e onde cada um deixa de compensar.

Um sandpit de IA verde realizado no Reino Unido em 2026, com matemáticos, cientistas da computação e representantes da
indústria, colocou esta pergunta no centro: como as ciências matemáticas podem reduzir a energia e os recursos de que
a IA precisa à medida que a demanda cresce? Os métodos abaixo são os que mais apareceram, confrontados com as
evidências publicadas.

## Por que há redundância a eliminar? {#why-is-there-redundancy-to-remove}

**Modelos grandes são maiores do que a tarefa estritamente exige, porque o tamanho os torna mais fáceis de treinar.**
O treinamento funciona melhor em um espaço de alta dimensão, mas, depois de concluído, muitos dos pesos acrescentam
pouco.

Isso deixa espaço para três tipos de economia: menos pesos (poda), menos valores ativos a cada momento (esparsidade)
e menos movimentação de dados (sketching e algoritmos que levam a memória em conta). Um quarto tipo evita a
redundância desde o início, incorporando ao modelo uma estrutura conhecida.

## O que é poda, e quanto ela pode remover? {#what-is-pruning-and-how-much-can-it-remove}

**A poda apaga os pesos que menos contribuem e depois deixa a rede se recuperar.** Han e colegas mostraram em 2015 que
a poda reduziu os parâmetros do modelo de imagens AlexNet por um fator de nove e os do VGG-16 por um fator de treze,
sem perda de precisão.

Trabalhos posteriores refinaram a ideia:

- A **hipótese do bilhete de loteria** (lottery ticket hypothesis; Frankle e Carbin, 2019) constatou que redes grandes
  contêm sub-redes muito menores que, treinadas a partir do ponto de partida certo, igualam a precisão da rede
  completa.
- O **SparseGPT** (Frantar e Alistarh, 2023) podou modelos de linguagem muito grandes até pelo menos 50% de
  esparsidade de uma só vez, sem retreinamento, com pouco aumento da perplexidade.
- O levantamento de Hoefler e colegas, de 2021, com mais de 300 artigos, é o guia de referência sobre quando a poda
  funciona e quando não funciona.

## A esparsidade realmente poupa energia? {#does-sparsity-actually-save-energy}

**Só se os zeros forem pulados.** Uma matriz com 80% de zeros continua custando o valor integral se o hardware
multiplicar cada entrada. Ajuda distinguir a esparsidade *não estruturada* (zeros
espalhados em qualquer lugar) da esparsidade *estruturada* (blocos, canais ou padrões inteiros de zeros), que chips
comuns conseguem aproveitar com muito mais facilidade.

Há dois lugares onde encontrar esparsidade:

- **Nos pesos**, por meio da poda.
- **Nas ativações**, os valores que fluem pela rede para uma dada entrada. Kurtz e colegas (2020) mostraram que elevar
  o limiar da função de ativação ReLU torna muito mais ativações exatamente zero, e elas podem então ser puladas na
  inferência. Mirzadeh e colegas (2024) argumentaram que modelos de linguagem de grande porte (LLMs) com ativações ReLU
  podem aproveitar o mesmo efeito para reduzir a computação.

A esparsidade de ativações é *dinâmica*: quais valores são zero muda a cada entrada. Isso a torna mais difícil de
aproveitar no hardware, e é um dos motivos pelos quais o sandpit tratou o projeto conjunto de hardware e software
como parte da matemática, e não como algo secundário.

## Por que a movimentação de dados importa tanto? {#why-does-data-movement-matter-so-much}

**Buscar um número na memória pode custar mais energia do que fazer contas com ele.** Algoritmos que movimentam menos
dados muitas vezes poupam mais do que algoritmos que fazem menos somas.

Duas famílias de métodos atacam esse problema:

- **Sketching aleatorizado.** Um sketch é uma projeção aleatória muito menor de uma matriz grande que preserva as
  propriedades de que você precisa. O artigo de Halko, Martinsson e Tropp, de 2011, e o levantamento de Martinsson e
  Tropp, de 2020, expõem a teoria da álgebra linear numérica aleatorizada, que oferece limites de erro demonstráveis
  para essas aproximações. Aplicados a redes neurais, os sketches podem comprimir grandes resultados intermediários
  antes que sejam movidos para fora do chip.
- **Algoritmos cientes de E/S (IO-aware).** O FlashAttention (Dao e colegas, 2022) calcula exatamente o mesmo
  resultado de atenção que o método padrão, mas reorganiza o trabalho para reduzir as leituras e escritas entre a
  memória grande e lenta de uma GPU e sua memória pequena e rápida. A economia vem do agendamento, e não de
  aproximações.

## O que a teoria de matrizes aleatórias acrescenta? {#what-does-random-matrix-theory-add}

**A teoria de matrizes aleatórias descreve como se comportam matrizes aleatórias grandes, que é o que os pesos de uma
rede neural são no início do treinamento.** Isso permite que matemáticos prevejam propriedades de uma rede antes de
treiná-la.

Pennington e Worah (2017) a usaram para analisar como os sinais passam por redes largas. Martin e Mahoney (2021)
estudaram os espectros de matrizes de pesos treinadas e encontraram padrões que indicam quão bem uma camada aprendeu.
Resultados desse tipo ajudam a definir níveis de esparsidade e a diagnosticar camadas maiores do que precisam ser, sem
a tentativa e erro de treinar muitas variantes.

## A estrutura pode substituir dados e parâmetros? {#can-structure-replace-data-and-parameters}

**Sim, quando a estrutura é conhecida.** Se um problema obedece a uma lei física ou a uma simetria, um modelo que já
traz esse conhecimento embutido não precisa aprendê-lo a partir dos dados.

- As **redes neurais informadas pela física** (Raissi, Perdikaris e Karniadakis, 2019) acrescentam as equações que
  regem o problema ao objetivo de treinamento, de modo que a rede é penalizada por respostas fisicamente impossíveis.
- O **aprendizado profundo geométrico** (Bronstein e colegas, 2021) projeta redes que respeitam simetrias como
  rotação ou permutação, para que precisem de menos parâmetros e exemplos.
- O **desenrolamento de algoritmos** (algorithm unrolling; Monga, Li e Eldar, 2021) transforma os passos de um
  algoritmo iterativo clássico nas camadas de uma rede, o que gera modelos pequenos e interpretáveis.

Uma ideia relacionada apareceu repetidas vezes no sandpit: **pipelines híbridos**. Mantenha o método clássico ou
baseado na física para os passos que ele faz bem e use uma rede pequena só para a parte que se presta ao aprendizado,
como um substituto (surrogate) para um componente caro de uma simulação. Às vezes, a resposta mais verde é um método
numérico existente e nenhuma rede neural.

## Onde entram a diferenciação automática e a quantização? {#where-do-automatic-differentiation-and-quantisation-fit}

**A diferenciação automática (AD) calcula derivadas exatas de um programa e é o motor do treinamento.** A
retropropagação (backpropagation) é AD em modo reverso, como explica o levantamento de Baydin e colegas, de 2018. Uma
AD eficiente importa por si só para a IA verde, e é o que torna possíveis técnicas como o treinamento ciente da poda e
penalidades de energia diferenciáveis.

**A quantização armazena números com menos bits**, por exemplo inteiros de 8 bits em vez de ponto flutuante de 32
bits. Jacob e colegas (2018) mostraram como treinar redes para inferência só com inteiros, o que reduz a memória e a
energia por operação. Menos bits também significam menos dados a movimentar.

## Podemos reutilizar modelos em vez de treinar novos? {#can-we-reuse-models-instead-of-training-new-ones}

**Muitas vezes.** Wortsman e colegas (2022) mostraram que tirar a média dos pesos de várias versões do mesmo modelo
submetidas a ajuste fino (fine-tuning), uma "sopa de modelos" (model soup), pode melhorar a precisão sem nenhum custo
extra na inferência. Mesclar e adaptar modelos existentes evita repetir o custo de treinar do zero.
[Orquestração em vez de geração](/pt/artigos/orquestracao-em-vez-de-geracao/) leva essa mesma ideia de reutilização mais
longe.

## Quais são os limites? {#what-are-the-limits}

**Os ganhos de eficiência são reais, mas não são automaticamente economia.** Três ressalvas valem para todos os
métodos acima:

- Uma economia no papel (menos parâmetros, menos operações) precisa ser confirmada medindo a energia em hardware real.
  Veja [como medir a energia da IA](/pt/boas-praticas/como-medir-a-energia-e-o-carbono-da-ia/).
- A precisão precisa ser verificada na tarefa real, e não só em uma média de benchmark.
- A computação mais barata tende a ser usada para fazer mais computação. [Eficiência não é suficiência](/pt/artigos/eficiencia-nao-e-suficiencia-o-efeito-rebote-na-ia/)
  explica esse efeito rebote.

## O que fazer agora {#what-to-do-next}

- Se você treina modelos ou faz ajuste fino, experimente primeiro a poda e a quantização pós-treinamento: são os
  ganhos mais baratos. Veja [treinamento e inferência eficientes](/pt/boas-praticas/treinamento-e-inferencia-de-ia-eficientes/).
- Verifique se o seu hardware e as suas bibliotecas realmente aproveitam a esparsidade antes de contar com ela.
- Antes de recorrer a uma rede neural, pergunte se um método clássico, ou um híbrido, já resolve o problema.
- Meça a energia antes e depois de qualquer mudança, no hardware que você vai usar.
- Pesquisadores: procurem projetos financiados e doutorados em IA eficiente nas listas de [pesquisa](/pt/pesquisa/) e de
  [doutorados](/pt/doutorados/), e vejam o [guia para pesquisadores](/pt/guias/ia-verde-para-pesquisadores/).

## Perguntas frequentes

### O que é poda em IA?

A poda remove de uma rede neural treinada os pesos, ou neurônios inteiros, que pouco contribuem para a saída. A rede menor precisa de menos memória e, em hardware adequado, de menos computação e energia.

### Um modelo esparso sempre usa menos energia?

Não. Um modelo cheio de zeros só poupa energia se o hardware e o software os pularem. A esparsidade não estruturada em uma GPU comum pode não rodar mais rápido que o modelo denso, e é por isso que a esparsidade estruturada e os kernels esparsos importam.

### O que é uma rede neural informada pela física?

Uma rede neural treinada para respeitar leis físicas conhecidas, geralmente acrescentando as equações que regem o problema à sua função de perda. Incorporar esse conhecimento faz com que a rede precise de menos dados para aprender uma solução útil.

### A matemática realmente faz diferença perto de chips melhores?

Sim, e as duas coisas se somam. Algoritmos melhores reduzem o trabalho a fazer; hardware melhor faz esse trabalho mais barato. Várias das maiores economias na IA, como a quantização e a atenção eficiente, vieram da matemática e de algoritmos, e não de novos chips.

## Fontes

- [Learning both weights and connections for efficient neural networks](https://arxiv.org/abs/1506.02626), Han, Pool, Tran and Dally, NeurIPS (2015)
- [The lottery ticket hypothesis: finding sparse, trainable neural networks](https://arxiv.org/abs/1803.03635), Frankle and Carbin, ICLR (2019)
- [Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks](https://jmlr.org/papers/v22/21-0366.html), Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- [SparseGPT: massive language models can be accurately pruned in one-shot](https://arxiv.org/abs/2301.00774), Frantar and Alistarh, ICML (2023)
- [Inducing and exploiting activation sparsity for fast inference on deep neural networks](https://proceedings.mlr.press/v119/kurtz20a.html), Kurtz et al., ICML (2020)
- [ReLU strikes back: exploiting activation sparsity in large language models](https://arxiv.org/abs/2310.04564), Mirzadeh et al., ICLR (2024)
- [Finding structure with randomness: probabilistic algorithms for constructing approximate matrix decompositions](https://doi.org/10.1137/090771806), Halko, Martinsson and Tropp, SIAM Review (2011)
- [Randomized numerical linear algebra: foundations and algorithms](https://doi.org/10.1017/S0962492920000021), Martinsson and Tropp, Acta Numerica (2020)
- [FlashAttention: fast and memory-efficient exact attention with IO-awareness](https://arxiv.org/abs/2205.14135), Dao, Fu, Ermon, Rudra and Ré, NeurIPS (2022)
- [Implicit self-regularization in deep neural networks: evidence from random matrix theory and implications for learning](https://jmlr.org/papers/v22/20-410.html), Martin and Mahoney, Journal of Machine Learning Research (2021)
- [Nonlinear random matrix theory for deep learning](https://papers.nips.cc/paper/6857-nonlinear-random-matrix-theory-for-deep-learning), Pennington and Worah, NeurIPS (2017)
- [Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations](https://doi.org/10.1016/j.jcp.2018.10.045), Raissi, Perdikaris and Karniadakis, Journal of Computational Physics (2019)
- [Geometric deep learning: grids, groups, graphs, geodesics, and gauges](https://arxiv.org/abs/2104.13478), Bronstein, Bruna, Cohen and Veličković (2021)
- [Algorithm unrolling: interpretable, efficient deep learning for signal and image processing](https://arxiv.org/abs/1912.10557), Monga, Li and Eldar, IEEE Signal Processing Magazine (2021)
- [Automatic differentiation in machine learning: a survey](https://jmlr.org/papers/v18/17-468.html), Baydin, Pearlmutter, Radul and Siskind, Journal of Machine Learning Research (2018)
- [Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time](https://arxiv.org/abs/2203.05482), Wortsman et al., ICML (2022)
- [Quantization and training of neural networks for efficient integer-arithmetic-only inference](https://arxiv.org/abs/1712.05877), Jacob et al., CVPR (2018)
