Em resumo
Estime as horas de GPU de que os seus experimentos principais precisam, acrescente uma margem para exploração e acompanhe o uso em relação a esse orçamento como se fosse dinheiro. Teste as ideias em pequena escala, pare cedo as execuções fracas, reutilize modelos pré-treinados e checkpoints e apresente os resultados em relação à computação que exigiram. Um orçamento torna as escolhas visíveis e acaba com os ajustes sem fim.
Passos
- Estime as horas de GPU dos experimentos principais e acrescente uma margem declarada para exploração.
- Faça pilotos em pequena escala para descartar ideias antes de aumentar a escala.
- Acompanhe as horas de GPU e a energia por experimento em relação ao orçamento.
- Use a parada antecipada nas execuções fracas em vez de grandes buscas em grade.
- Reutilize modelos pré-treinados e checkpoints quando forem adequados.
- Apresente os resultados em relação à computação, como precisão por kWh.
Decida com antecedência quanta computação o projeto pode usar e acompanhe esse uso. Sem um orçamento, as execuções extras parecem gratuitas, e a energia de um pequeno ganho de precisão nunca é posta na balança.
Como estimo o orçamento?
Parta dos experimentos do seu plano: o tamanho do modelo, o tamanho dos dados e o número de execuções dão as horas de GPU aproximadas. A calculadora Green Algorithms, de Lannelongue, Grealey e Inouye, transforma o hardware, o tempo de execução, a memória e o local numa estimativa de energia e de carbono, o que ajuda a ver o que o orçamento significa. Acrescente uma margem explícita para exploração em vez de deixá-la em aberto.
O que mantém um projeto dentro do orçamento?
- Pequenos pilotos primeiro. Descarte ideias com modelos pequenos e subconjuntos dos dados.
- Buscas eficientes. Pare cedo as execuções fracas; veja cortar a energia das buscas de hiperparâmetros.
- Reutilização. Parta de modelos pré-treinados e de checkpoints salvos; veja evitar treinar do zero.
- Escolha onde e em que você roda. Patterson e colegas concluíram que a escolha do modelo, do data center e do processador pode reduzir a pegada de carbono do treinamento em até cerca de 100 a 1.000 vezes.
Erros comuns
- Orçar só as execuções finais. A exploração costuma ser a maior parte da computação.
- Não ter checkpoints, de modo que uma falha obriga a começar de novo.
- Informar só a melhor precisão, o que recompensa gastar mais.
Os princípios GREENER, de Lannelongue e colegas, oferecem um quadro de referência para grupos e instituições. Veja o guia para pesquisadores.
Fontes
- GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
- Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
- Carbon emissions and large neural network training, Patterson et al. (2021)
Relacionados
Como reduzo a energia das buscas de hiperparâmetros?
Como ajustar modelos com menos computação: buscas mais inteligentes do que grades completas, parada precoce, pilotos pequenos, bons valores padrão e um orçamento.
Como informo o uso de energia da minha pesquisa em IA?
O que colocar num artigo sobre computação e energia: hardware, horas de GPU de todas as execuções, energia, local, carbono, custo de inferência e o limite usado.
Como reduzo a pegada dos experimentos de IA num cluster de pesquisa?
Corte a energia de experimentos de IA em HPC: leia a contabilidade de energia do Slurm, peça só o que usa, faça pilotos, use checkpoints e agende trabalhos.
IA verde para pesquisadores
Um guia para pesquisadores sobre métodos de IA eficientes, medição e relato de energia em artigos, orçamentos de computação, financiamento e o papel da matemática.