Em resumo
Boa parte da energia que a IA usa vai para computação e movimentação de dados de que a tarefa não precisa. Métodos matemáticos como poda, esparsidade, sketching aleatorizado, teoria de matrizes aleatórias e modelos com estrutura embutida eliminam essa redundância, muitas vezes com pouca ou nenhuma perda de precisão. Eles só poupam energia quando a economia é medida e não é simplesmente gasta em modelos maiores.
Pontos-chave
- Redes neurais grandes são superparametrizadas; a poda pode remover a maioria de seus pesos após o treinamento com pouca perda de precisão.
- A esparsidade só poupa energia quando o hardware e o software conseguem pular os zeros; caso contrário, é uma economia só no papel.
- Movimentar dados muitas vezes custa mais energia que a aritmética, então métodos que reduzem o tráfego de memória, como o sketching e a atenção ciente de E/S, importam.
- Incorporar a física conhecida ou simetrias a um modelo pode reduzir os parâmetros e os dados de que ele precisa.
- Métodos numéricos clássicos às vezes são a resposta mais verde, e um pipeline híbrido pode usar uma rede pequena só onde ela ajuda.
A maior parte da energia que uma rede neural usa vai para duas coisas: aritmética e movimentação de números entre a memória e o processador. A matemática pode reduzir as duas. Este artigo explica os principais métodos em termos simples, com os artigos publicados que os sustentam, e onde cada um deixa de compensar.
Um sandpit de IA verde realizado no Reino Unido em 2026, com matemáticos, cientistas da computação e representantes da indústria, colocou esta pergunta no centro: como as ciências matemáticas podem reduzir a energia e os recursos de que a IA precisa à medida que a demanda cresce? Os métodos abaixo são os que mais apareceram, confrontados com as evidências publicadas.
Por que há redundância a eliminar?
Modelos grandes são maiores do que a tarefa estritamente exige, porque o tamanho os torna mais fáceis de treinar. O treinamento funciona melhor em um espaço de alta dimensão, mas, depois de concluído, muitos dos pesos acrescentam pouco.
Isso deixa espaço para três tipos de economia: menos pesos (poda), menos valores ativos a cada momento (esparsidade) e menos movimentação de dados (sketching e algoritmos que levam a memória em conta). Um quarto tipo evita a redundância desde o início, incorporando ao modelo uma estrutura conhecida.
O que é poda, e quanto ela pode remover?
A poda apaga os pesos que menos contribuem e depois deixa a rede se recuperar. Han e colegas mostraram em 2015 que a poda reduziu os parâmetros do modelo de imagens AlexNet por um fator de nove e os do VGG-16 por um fator de treze, sem perda de precisão.
Trabalhos posteriores refinaram a ideia:
- A hipótese do bilhete de loteria (lottery ticket hypothesis; Frankle e Carbin, 2019) constatou que redes grandes contêm sub-redes muito menores que, treinadas a partir do ponto de partida certo, igualam a precisão da rede completa.
- O SparseGPT (Frantar e Alistarh, 2023) podou modelos de linguagem muito grandes até pelo menos 50% de esparsidade de uma só vez, sem retreinamento, com pouco aumento da perplexidade.
- O levantamento de Hoefler e colegas, de 2021, com mais de 300 artigos, é o guia de referência sobre quando a poda funciona e quando não funciona.
A esparsidade realmente poupa energia?
Só se os zeros forem pulados. Uma matriz com 80% de zeros continua custando o valor integral se o hardware multiplicar cada entrada. Ajuda distinguir a esparsidade não estruturada (zeros espalhados em qualquer lugar) da esparsidade estruturada (blocos, canais ou padrões inteiros de zeros), que chips comuns conseguem aproveitar com muito mais facilidade.
Há dois lugares onde encontrar esparsidade:
- Nos pesos, por meio da poda.
- Nas ativações, os valores que fluem pela rede para uma dada entrada. Kurtz e colegas (2020) mostraram que elevar o limiar da função de ativação ReLU torna muito mais ativações exatamente zero, e elas podem então ser puladas na inferência. Mirzadeh e colegas (2024) argumentaram que modelos de linguagem de grande porte (LLMs) com ativações ReLU podem aproveitar o mesmo efeito para reduzir a computação.
A esparsidade de ativações é dinâmica: quais valores são zero muda a cada entrada. Isso a torna mais difícil de aproveitar no hardware, e é um dos motivos pelos quais o sandpit tratou o projeto conjunto de hardware e software como parte da matemática, e não como algo secundário.
Por que a movimentação de dados importa tanto?
Buscar um número na memória pode custar mais energia do que fazer contas com ele. Algoritmos que movimentam menos dados muitas vezes poupam mais do que algoritmos que fazem menos somas.
Duas famílias de métodos atacam esse problema:
- Sketching aleatorizado. Um sketch é uma projeção aleatória muito menor de uma matriz grande que preserva as propriedades de que você precisa. O artigo de Halko, Martinsson e Tropp, de 2011, e o levantamento de Martinsson e Tropp, de 2020, expõem a teoria da álgebra linear numérica aleatorizada, que oferece limites de erro demonstráveis para essas aproximações. Aplicados a redes neurais, os sketches podem comprimir grandes resultados intermediários antes que sejam movidos para fora do chip.
- Algoritmos cientes de E/S (IO-aware). O FlashAttention (Dao e colegas, 2022) calcula exatamente o mesmo resultado de atenção que o método padrão, mas reorganiza o trabalho para reduzir as leituras e escritas entre a memória grande e lenta de uma GPU e sua memória pequena e rápida. A economia vem do agendamento, e não de aproximações.
O que a teoria de matrizes aleatórias acrescenta?
A teoria de matrizes aleatórias descreve como se comportam matrizes aleatórias grandes, que é o que os pesos de uma rede neural são no início do treinamento. Isso permite que matemáticos prevejam propriedades de uma rede antes de treiná-la.
Pennington e Worah (2017) a usaram para analisar como os sinais passam por redes largas. Martin e Mahoney (2021) estudaram os espectros de matrizes de pesos treinadas e encontraram padrões que indicam quão bem uma camada aprendeu. Resultados desse tipo ajudam a definir níveis de esparsidade e a diagnosticar camadas maiores do que precisam ser, sem a tentativa e erro de treinar muitas variantes.
A estrutura pode substituir dados e parâmetros?
Sim, quando a estrutura é conhecida. Se um problema obedece a uma lei física ou a uma simetria, um modelo que já traz esse conhecimento embutido não precisa aprendê-lo a partir dos dados.
- As redes neurais informadas pela física (Raissi, Perdikaris e Karniadakis, 2019) acrescentam as equações que regem o problema ao objetivo de treinamento, de modo que a rede é penalizada por respostas fisicamente impossíveis.
- O aprendizado profundo geométrico (Bronstein e colegas, 2021) projeta redes que respeitam simetrias como rotação ou permutação, para que precisem de menos parâmetros e exemplos.
- O desenrolamento de algoritmos (algorithm unrolling; Monga, Li e Eldar, 2021) transforma os passos de um algoritmo iterativo clássico nas camadas de uma rede, o que gera modelos pequenos e interpretáveis.
Uma ideia relacionada apareceu repetidas vezes no sandpit: pipelines híbridos. Mantenha o método clássico ou baseado na física para os passos que ele faz bem e use uma rede pequena só para a parte que se presta ao aprendizado, como um substituto (surrogate) para um componente caro de uma simulação. Às vezes, a resposta mais verde é um método numérico existente e nenhuma rede neural.
Onde entram a diferenciação automática e a quantização?
A diferenciação automática (AD) calcula derivadas exatas de um programa e é o motor do treinamento. A retropropagação (backpropagation) é AD em modo reverso, como explica o levantamento de Baydin e colegas, de 2018. Uma AD eficiente importa por si só para a IA verde, e é o que torna possíveis técnicas como o treinamento ciente da poda e penalidades de energia diferenciáveis.
A quantização armazena números com menos bits, por exemplo inteiros de 8 bits em vez de ponto flutuante de 32 bits. Jacob e colegas (2018) mostraram como treinar redes para inferência só com inteiros, o que reduz a memória e a energia por operação. Menos bits também significam menos dados a movimentar.
Podemos reutilizar modelos em vez de treinar novos?
Muitas vezes. Wortsman e colegas (2022) mostraram que tirar a média dos pesos de várias versões do mesmo modelo submetidas a ajuste fino (fine-tuning), uma "sopa de modelos" (model soup), pode melhorar a precisão sem nenhum custo extra na inferência. Mesclar e adaptar modelos existentes evita repetir o custo de treinar do zero. Orquestração em vez de geração leva essa mesma ideia de reutilização mais longe.
Quais são os limites?
Os ganhos de eficiência são reais, mas não são automaticamente economia. Três ressalvas valem para todos os métodos acima:
- Uma economia no papel (menos parâmetros, menos operações) precisa ser confirmada medindo a energia em hardware real. Veja como medir a energia da IA.
- A precisão precisa ser verificada na tarefa real, e não só em uma média de benchmark.
- A computação mais barata tende a ser usada para fazer mais computação. Eficiência não é suficiência explica esse efeito rebote.
O que fazer agora
- Se você treina modelos ou faz ajuste fino, experimente primeiro a poda e a quantização pós-treinamento: são os ganhos mais baratos. Veja treinamento e inferência eficientes.
- Verifique se o seu hardware e as suas bibliotecas realmente aproveitam a esparsidade antes de contar com ela.
- Antes de recorrer a uma rede neural, pergunte se um método clássico, ou um híbrido, já resolve o problema.
- Meça a energia antes e depois de qualquer mudança, no hardware que você vai usar.
- Pesquisadores: procurem projetos financiados e doutorados em IA eficiente nas listas de pesquisa e de doutorados, e vejam o guia para pesquisadores.
Perguntas frequentes
O que é poda em IA?
A poda remove de uma rede neural treinada os pesos, ou neurônios inteiros, que pouco contribuem para a saída. A rede menor precisa de menos memória e, em hardware adequado, de menos computação e energia.
Um modelo esparso sempre usa menos energia?
Não. Um modelo cheio de zeros só poupa energia se o hardware e o software os pularem. A esparsidade não estruturada em uma GPU comum pode não rodar mais rápido que o modelo denso, e é por isso que a esparsidade estruturada e os kernels esparsos importam.
O que é uma rede neural informada pela física?
Uma rede neural treinada para respeitar leis físicas conhecidas, geralmente acrescentando as equações que regem o problema à sua função de perda. Incorporar esse conhecimento faz com que a rede precise de menos dados para aprender uma solução útil.
A matemática realmente faz diferença perto de chips melhores?
Sim, e as duas coisas se somam. Algoritmos melhores reduzem o trabalho a fazer; hardware melhor faz esse trabalho mais barato. Várias das maiores economias na IA, como a quantização e a atenção eficiente, vieram da matemática e de algoritmos, e não de novos chips.
Fontes
- Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
- The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
- Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
- Inducing and exploiting activation sparsity for fast inference on deep neural networks, Kurtz et al., ICML (2020)
- ReLU strikes back: exploiting activation sparsity in large language models, Mirzadeh et al., ICLR (2024)
- Finding structure with randomness: probabilistic algorithms for constructing approximate matrix decompositions, Halko, Martinsson and Tropp, SIAM Review (2011)
- Randomized numerical linear algebra: foundations and algorithms, Martinsson and Tropp, Acta Numerica (2020)
- FlashAttention: fast and memory-efficient exact attention with IO-awareness, Dao, Fu, Ermon, Rudra and Ré, NeurIPS (2022)
- Implicit self-regularization in deep neural networks: evidence from random matrix theory and implications for learning, Martin and Mahoney, Journal of Machine Learning Research (2021)
- Nonlinear random matrix theory for deep learning, Pennington and Worah, NeurIPS (2017)
- Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations, Raissi, Perdikaris and Karniadakis, Journal of Computational Physics (2019)
- Geometric deep learning: grids, groups, graphs, geodesics, and gauges, Bronstein, Bruna, Cohen and Veličković (2021)
- Algorithm unrolling: interpretable, efficient deep learning for signal and image processing, Monga, Li and Eldar, IEEE Signal Processing Magazine (2021)
- Automatic differentiation in machine learning: a survey, Baydin, Pearlmutter, Radul and Siskind, Journal of Machine Learning Research (2018)
- Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
- Quantization and training of neural networks for efficient integer-arithmetic-only inference, Jacob et al., CVPR (2018)
Relacionados
Treinamento e inferência de IA eficientes
Técnicas para desenvolvedores e pesquisadores reduzirem a energia da IA: poda, esparsidade, quantização, destilação, KV cache, batching, precisão mista e agendamento.
Eficiência não é suficiência: o efeito rebote na IA
Por que tornar a IA mais eficiente não garante que ela use menos energia no total, o que é o efeito rebote ou de Jevons e o que ajuda a manter a economia real.
Orquestração em vez de geração
Por que reutilizar componentes verificados e direcionar pedidos ao menor modelo capaz pode reduzir a energia da IA, e o que as evidências mostram.
IA verde para pesquisadores
Um guia para pesquisadores sobre métodos de IA eficientes, medição e relato de energia em artigos, orçamentos de computação, financiamento e o papel da matemática.