greenai.guide

Início › Como faço para…? › Como reduzo a energia das buscas de hiperparâmetros?

Como faço para…?

Como reduzo a energia das buscas de hiperparâmetros?

Atualizado · 1 min de leitura

Em resumo

Substitua grandes buscas em grade por buscas aleatórias ou adaptativas, interrompa cedo as tentativas ruins, faça primeiro pilotos com poucos dados ou modelos pequenos e comece pelos valores padrão publicados para a sua arquitetura. Acompanhe a energia de cada tentativa, não só da vencedora, e defina um orçamento de computação antes de começar. As execuções de ajuste muitas vezes custam mais do que o treinamento final, e raramente são relatadas.

Passos

  1. Defina um orçamento de computação para a busca antes de começar.
  2. Comece pelos hiperparâmetros padrão publicados para a sua família de modelos.
  3. Use busca aleatória ou adaptativa em vez de uma grade completa.
  4. Interrompa cedo as tentativas que estejam claramente piores do que a melhor até agora.
  5. Faça um piloto com um subconjunto dos dados ou um modelo menor antes de aumentar a escala.
  6. Registre a energia e as emissões de cada tentativa junto com a precisão.

Ajuste de forma mais inteligente, não mais ampla. Uma grade completa sobre muitos hiperparâmetros multiplica o custo do treinamento pelo número de combinações, e a maioria dessas execuções fica claramente pior logo no início.

Por que isso importa?

O artigo de 2019 de Strubell, Ganesh e McCallum quantificou o custo de desenvolver modelos de linguagem, incluindo a experimentação em torno deles, e não apenas uma única execução final de treinamento. O artigo "Green AI" de Schwartz e colegas defendeu que os pesquisadores devem relatar o custo computacional dos seus resultados, incluindo os experimentos necessários para chegar a eles, para que a eficiência seja valorizada junto com a precisão.

O que faz mais diferença?

  • Parada precoce das tentativas ruins. Os métodos do tipo successive halving dão a cada tentativa um orçamento pequeno e só continuam as promissoras. A maioria das bibliotecas de ajuste suporta isso.
  • Busca aleatória ou adaptativa. Em vez de executar todas as combinações, sorteie configurações ou deixe um método adaptativo usar os resultados anteriores para escolher a tentativa seguinte.
  • Pilotos pequenos. Descarte ideias com um subconjunto dos dados ou um modelo menor.
  • Valores padrão primeiro. Os valores padrão bem testados para arquiteturas comuns costumam estar perto do ideal.
  • Acompanhe cada tentativa. A documentação do CodeCarbon mostra como acompanhar cada configuração e comparar a precisão com as emissões.

Erros comuns

Para saber mais, leia o guia para pesquisadores.

Fontes

  1. Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
  2. Green AI, Schwartz, Dodge, Smith and Etzioni, Communications of the ACM (2020)
  3. Comparing model efficiency with carbon tracking, CodeCarbon documentation (2025)

Junte-se a nós

Ajude a reduzir o impacto da IA no planeta

Receba novos guias, editais de financiamento e listagens dos diretórios por e-mail, cerca de uma vez por mês. Ou adicione seu produto, curso, doutorado ou pesquisa aos diretórios.

Sem rastreamento. Cancele a inscrição com um clique. Outras formas de participar · Privacidade