greenai.guide

Início › Como faço para…? › Como faço a poda de uma rede neural?

Como faço para…?

Como faço a poda de uma rede neural?

Atualizado · 1 min de leitura

Em resumo

Faça a poda de uma rede treinada removendo os pesos, neurônios ou camadas que menos contribuem, depois faça um ajuste fino curto para que ela se recupere e teste-a contra o seu nível de qualidade. A poda reduziu em nove vezes os parâmetros da AlexNet sem perda de precisão, e modelos de linguagem muito grandes já foram podados até pelo menos 50% de esparsidade numa única passagem. Prefira a poda estruturada se quiser que o hardware comum rode mais rápido.

Passos

  1. Meça primeiro a precisão, a latência e a energia do modelo sem poda.
  2. Escolha a poda estruturada (neurônios, cabeças ou camadas inteiras), a menos que o seu hardware aproveite pesos esparsos.
  3. Remova uma parcela modesta dos pesos por importância, como os de menor magnitude.
  4. Faça um ajuste fino curto para que a rede se recupere.
  5. Repita em etapas, testando a cada vez, e pare quando a qualidade cair abaixo do seu nível.

Redes grandes costumam ter muito mais pesos do que a tarefa exige, então muitos podem ser removidos depois do treinamento. A poda deixa o modelo menor e, no hardware certo, mais barato de executar.

O que mostram as evidências?

Han e colegas mostraram em 2015 que a poda reduziu os parâmetros do modelo de imagem AlexNet em nove vezes e os do VGG-16 em treze vezes, sem perda de precisão. A hipótese do bilhete de loteria, de Frankle e Carbin, concluiu que redes grandes contêm sub-redes muito menores capazes de igualar a precisão da rede completa. Para modelos de linguagem, o SparseGPT de Frantar e Alistarh podou modelos muito grandes até pelo menos 50% de esparsidade numa única passagem, sem retreinamento, com pouco aumento na perplexidade.

Estruturada ou não estruturada?

  • A poda não estruturada remove pesos individuais. Ela pode remover mais, mas deixa zeros espalhados que GPUs e CPUs comuns muitas vezes não conseguem pular.
  • A poda estruturada remove neurônios, cabeças de atenção, canais ou camadas inteiras. Ela remove menos, mas o modelo menor roda mais rápido em qualquer hardware.

Erros comuns

  • Contar zeros em vez de medir a energia. A economia teórica muitas vezes supera a medida. Um sandpit (laboratório colaborativo) britânico de IA verde realizado em 2026, com matemáticos, cientistas da computação e a indústria, observou que a esparsidade continua pouco usada em parte porque os chips mais comuns têm dificuldade em aproveitá-la.
  • Podar demais de uma vez. Avance em etapas e faça ajuste fino entre elas.
  • Testar só em benchmarks. Confira os seus próprios casos, incluindo os raros, que a poda pode prejudicar primeiro.

O levantamento de Hoefler e colegas, de 2021, com mais de 300 artigos, é o guia de referência. Para a teoria, leia matemática para uma IA eficiente.

Fontes

  1. Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
  2. SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
  3. Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
  4. The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)

Junte-se a nós

Ajude a reduzir o impacto da IA no planeta

Receba novos guias, editais de financiamento e listagens dos diretórios por e-mail, cerca de uma vez por mês. Ou adicione seu produto, curso, doutorado ou pesquisa aos diretórios.

Sem rastreamento. Cancele a inscrição com um clique. Outras formas de participar · Privacidade