greenai.guide

Início › Como faço para…? › Como defino um orçamento de computação para um projeto de pesquisa?

Como faço para…?

Como defino um orçamento de computação para um projeto de pesquisa?

Atualizado · 1 min de leitura

Em resumo

Estime as horas de GPU de que os seus experimentos principais precisam, acrescente uma margem para exploração e acompanhe o uso em relação a esse orçamento como se fosse dinheiro. Teste as ideias em pequena escala, pare cedo as execuções fracas, reutilize modelos pré-treinados e checkpoints e apresente os resultados em relação à computação que exigiram. Um orçamento torna as escolhas visíveis e acaba com os ajustes sem fim.

Passos

  1. Estime as horas de GPU dos experimentos principais e acrescente uma margem declarada para exploração.
  2. Faça pilotos em pequena escala para descartar ideias antes de aumentar a escala.
  3. Acompanhe as horas de GPU e a energia por experimento em relação ao orçamento.
  4. Use a parada antecipada nas execuções fracas em vez de grandes buscas em grade.
  5. Reutilize modelos pré-treinados e checkpoints quando forem adequados.
  6. Apresente os resultados em relação à computação, como precisão por kWh.

Decida com antecedência quanta computação o projeto pode usar e acompanhe esse uso. Sem um orçamento, as execuções extras parecem gratuitas, e a energia de um pequeno ganho de precisão nunca é posta na balança.

Como estimo o orçamento?

Parta dos experimentos do seu plano: o tamanho do modelo, o tamanho dos dados e o número de execuções dão as horas de GPU aproximadas. A calculadora Green Algorithms, de Lannelongue, Grealey e Inouye, transforma o hardware, o tempo de execução, a memória e o local numa estimativa de energia e de carbono, o que ajuda a ver o que o orçamento significa. Acrescente uma margem explícita para exploração em vez de deixá-la em aberto.

O que mantém um projeto dentro do orçamento?

  • Pequenos pilotos primeiro. Descarte ideias com modelos pequenos e subconjuntos dos dados.
  • Buscas eficientes. Pare cedo as execuções fracas; veja cortar a energia das buscas de hiperparâmetros.
  • Reutilização. Parta de modelos pré-treinados e de checkpoints salvos; veja evitar treinar do zero.
  • Escolha onde e em que você roda. Patterson e colegas concluíram que a escolha do modelo, do data center e do processador pode reduzir a pegada de carbono do treinamento em até cerca de 100 a 1.000 vezes.

Erros comuns

  • Orçar só as execuções finais. A exploração costuma ser a maior parte da computação.
  • Não ter checkpoints, de modo que uma falha obriga a começar de novo.
  • Informar só a melhor precisão, o que recompensa gastar mais.

Os princípios GREENER, de Lannelongue e colegas, oferecem um quadro de referência para grupos e instituições. Veja o guia para pesquisadores.

Fontes

  1. GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
  2. Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
  3. Carbon emissions and large neural network training, Patterson et al. (2021)

Junte-se a nós

Ajude a reduzir o impacto da IA no planeta

Receba novos guias, editais de financiamento e listagens dos diretórios por e-mail, cerca de uma vez por mês. Ou adicione seu produto, curso, doutorado ou pesquisa aos diretórios.

Sem rastreamento. Cancele a inscrição com um clique. Outras formas de participar · Privacidade