greenai.guide

Início › Como faço para…? › Como reduzo a energia do treinamento de um modelo?

Como faço para…?

Como reduzo a energia do treinamento de um modelo?

Atualizado · 2 min de leitura

Em resumo

Parta de um modelo pré-treinado sempre que puder, escolha a menor arquitetura capaz de atingir o seu nível, treine em precisão mista, pare quando a validação deixar de melhorar e rode em hardware eficiente, numa região e num horário de baixo carbono. Patterson e colegas concluíram que a escolha do modelo, do data center e do processador pode reduzir a pegada de carbono do treinamento em até cerca de 100 a 1.000 vezes. Meça cada execução para que as escolhas fiquem visíveis.

Passos

  1. Verifique se é possível fazer o ajuste fino de um modelo pré-treinado em vez de treinar do zero.
  2. Teste as ideias em pequena escala antes de lançar uma execução completa.
  3. Treine em precisão mista e pare cedo quando a validação deixar de melhorar.
  4. Rode em aceleradores eficientes numa região de baixo carbono e agende as execuções flexíveis para horas mais limpas.
  5. Salve checkpoints para que as execuções possam pausar, retomar e evitar recomeçar do zero.
  6. Acompanhe a energia e as emissões de cada execução, incluindo as que falharam.

A energia do treinamento é definida sobretudo por decisões tomadas antes de a execução começar. O que você treina, em quê, onde e quando importa mais do que qualquer ajuste durante a execução.

Por que isso importa?

O artigo de Strubell, Ganesh e McCallum, de 2019, quantificou o custo financeiro e ambiental de treinar modelos de linguagem e propôs formas de reduzi-lo. Mais tarde, Patterson e colegas concluíram que a escolha da arquitetura do modelo, do data center e do processador pode reduzir a pegada de carbono do treinamento em até cerca de 100 a 1.000 vezes.

O que faz a maior diferença?

  1. Não treinar do zero. Fazer o ajuste fino de um modelo pré-treinado, ou de um adaptador sobre ele, costuma custar uma fração mínima do pré-treinamento. Veja como evitar treinar do zero.
  2. Ajustar o tamanho. Uma arquitetura menor que atinge o nível é melhor do que uma grande que o ultrapassa.
  3. Precisão mista. Treinar em meia precisão com uma cópia mestra em precisão total quase reduziu pela metade o uso de memória no trabalho de Micikevicius e colegas, o que permite que lotes maiores caibam no mesmo hardware.
  4. Parada antecipada. Encerre as execuções quando a perda de validação se estabilizar.
  5. Onde e quando. Escolha aceleradores eficientes e uma região de baixo carbono, e rode os trabalhos flexíveis quando a rede estiver mais limpa: veja como agendar o treinamento.

Erros comuns

  • Contar só a execução final. Os ajustes e as execuções que falharam muitas vezes custam mais; veja como cortar a energia das buscas de hiperparâmetros.
  • Não salvar checkpoints, de modo que uma interrupção obriga a começar de novo.
  • Não medir. Coloque um rastreador como o CodeCarbon no script de treinamento.

Para o conjunto completo de ferramentas, leia treinamento e inferência eficientes.

Fontes

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
  3. Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
  4. CodeCarbon, CodeCarbon (2026)

Junte-se a nós

Ajude a reduzir o impacto da IA no planeta

Receba novos guias, editais de financiamento e listagens dos diretórios por e-mail, cerca de uma vez por mês. Ou adicione seu produto, curso, doutorado ou pesquisa aos diretórios.

Sem rastreamento. Cancele a inscrição com um clique. Outras formas de participar · Privacidade