Em resumo
Faça a poda de uma rede treinada removendo os pesos, neurônios ou camadas que menos contribuem, depois faça um ajuste fino curto para que ela se recupere e teste-a contra o seu nível de qualidade. A poda reduziu em nove vezes os parâmetros da AlexNet sem perda de precisão, e modelos de linguagem muito grandes já foram podados até pelo menos 50% de esparsidade numa única passagem. Prefira a poda estruturada se quiser que o hardware comum rode mais rápido.
Passos
- Meça primeiro a precisão, a latência e a energia do modelo sem poda.
- Escolha a poda estruturada (neurônios, cabeças ou camadas inteiras), a menos que o seu hardware aproveite pesos esparsos.
- Remova uma parcela modesta dos pesos por importância, como os de menor magnitude.
- Faça um ajuste fino curto para que a rede se recupere.
- Repita em etapas, testando a cada vez, e pare quando a qualidade cair abaixo do seu nível.
Redes grandes costumam ter muito mais pesos do que a tarefa exige, então muitos podem ser removidos depois do treinamento. A poda deixa o modelo menor e, no hardware certo, mais barato de executar.
O que mostram as evidências?
Han e colegas mostraram em 2015 que a poda reduziu os parâmetros do modelo de imagem AlexNet em nove vezes e os do VGG-16 em treze vezes, sem perda de precisão. A hipótese do bilhete de loteria, de Frankle e Carbin, concluiu que redes grandes contêm sub-redes muito menores capazes de igualar a precisão da rede completa. Para modelos de linguagem, o SparseGPT de Frantar e Alistarh podou modelos muito grandes até pelo menos 50% de esparsidade numa única passagem, sem retreinamento, com pouco aumento na perplexidade.
Estruturada ou não estruturada?
- A poda não estruturada remove pesos individuais. Ela pode remover mais, mas deixa zeros espalhados que GPUs e CPUs comuns muitas vezes não conseguem pular.
- A poda estruturada remove neurônios, cabeças de atenção, canais ou camadas inteiras. Ela remove menos, mas o modelo menor roda mais rápido em qualquer hardware.
Erros comuns
- Contar zeros em vez de medir a energia. A economia teórica muitas vezes supera a medida. Um sandpit (laboratório colaborativo) britânico de IA verde realizado em 2026, com matemáticos, cientistas da computação e a indústria, observou que a esparsidade continua pouco usada em parte porque os chips mais comuns têm dificuldade em aproveitá-la.
- Podar demais de uma vez. Avance em etapas e faça ajuste fino entre elas.
- Testar só em benchmarks. Confira os seus próprios casos, incluindo os raros, que a poda pode prejudicar primeiro.
O levantamento de Hoefler e colegas, de 2021, com mais de 300 artigos, é o guia de referência. Para a teoria, leia matemática para uma IA eficiente.
Fontes
- Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
- SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
- Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
Relacionados
A matemática que torna a IA mais eficiente
Poda, esparsidade, sketching, teoria de matrizes aleatórias e modelos informados pela física: como a matemática reduz a computação, a memória e a energia da IA.
Como faço a quantização de um modelo?
Como quantizar um modelo de IA para 8 ou 4 bits: que ferramentas usar, como testar a qualidade e quando a quantização economiza energia e quando não economiza.
Como destilo um modelo grande em um modelo menor?
Como funciona a destilação: um modelo professor grande treina um aluno pequeno para sua tarefa; depois você o testa e mantém o grande como reserva.
Treinamento e inferência de IA eficientes
Técnicas para desenvolvedores e pesquisadores reduzirem a energia da IA: poda, esparsidade, quantização, destilação, KV cache, batching, precisão mista e agendamento.