Em resumo
Parta de um modelo pré-treinado sempre que puder, escolha a menor arquitetura capaz de atingir o seu nível, treine em precisão mista, pare quando a validação deixar de melhorar e rode em hardware eficiente, numa região e num horário de baixo carbono. Patterson e colegas concluíram que a escolha do modelo, do data center e do processador pode reduzir a pegada de carbono do treinamento em até cerca de 100 a 1.000 vezes. Meça cada execução para que as escolhas fiquem visíveis.
Passos
- Verifique se é possível fazer o ajuste fino de um modelo pré-treinado em vez de treinar do zero.
- Teste as ideias em pequena escala antes de lançar uma execução completa.
- Treine em precisão mista e pare cedo quando a validação deixar de melhorar.
- Rode em aceleradores eficientes numa região de baixo carbono e agende as execuções flexíveis para horas mais limpas.
- Salve checkpoints para que as execuções possam pausar, retomar e evitar recomeçar do zero.
- Acompanhe a energia e as emissões de cada execução, incluindo as que falharam.
A energia do treinamento é definida sobretudo por decisões tomadas antes de a execução começar. O que você treina, em quê, onde e quando importa mais do que qualquer ajuste durante a execução.
Por que isso importa?
O artigo de Strubell, Ganesh e McCallum, de 2019, quantificou o custo financeiro e ambiental de treinar modelos de linguagem e propôs formas de reduzi-lo. Mais tarde, Patterson e colegas concluíram que a escolha da arquitetura do modelo, do data center e do processador pode reduzir a pegada de carbono do treinamento em até cerca de 100 a 1.000 vezes.
O que faz a maior diferença?
- Não treinar do zero. Fazer o ajuste fino de um modelo pré-treinado, ou de um adaptador sobre ele, costuma custar uma fração mínima do pré-treinamento. Veja como evitar treinar do zero.
- Ajustar o tamanho. Uma arquitetura menor que atinge o nível é melhor do que uma grande que o ultrapassa.
- Precisão mista. Treinar em meia precisão com uma cópia mestra em precisão total quase reduziu pela metade o uso de memória no trabalho de Micikevicius e colegas, o que permite que lotes maiores caibam no mesmo hardware.
- Parada antecipada. Encerre as execuções quando a perda de validação se estabilizar.
- Onde e quando. Escolha aceleradores eficientes e uma região de baixo carbono, e rode os trabalhos flexíveis quando a rede estiver mais limpa: veja como agendar o treinamento.
Erros comuns
- Contar só a execução final. Os ajustes e as execuções que falharam muitas vezes custam mais; veja como cortar a energia das buscas de hiperparâmetros.
- Não salvar checkpoints, de modo que uma interrupção obriga a começar de novo.
- Não medir. Coloque um rastreador como o CodeCarbon no script de treinamento.
Para o conjunto completo de ferramentas, leia treinamento e inferência eficientes.
Fontes
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- CodeCarbon, CodeCarbon (2026)
Relacionados
Treinamento e inferência de IA eficientes
Técnicas para desenvolvedores e pesquisadores reduzirem a energia da IA: poda, esparsidade, quantização, destilação, KV cache, batching, precisão mista e agendamento.
Como evito treinar um modelo do zero?
Como reutilizar modelos existentes em vez de pré-treinar o seu: faça fine-tuning, adapte com LoRA, combine modelos ajustados ou recupere conhecimento.
Como agendo o treinamento para quando a rede elétrica estiver mais verde?
Rode treinamentos e trabalhos de IA em lote quando a intensidade de carbono da rede estiver baixa: use previsões, checkpoints para pausar e prazos como limite firme.
Como meço a pegada de carbono do treinamento de um modelo?
Acompanhe a energia de um treinamento com uma ferramenta como o CodeCarbon, multiplique pela intensidade de carbono da rede local e informe hardware, tempo e local.