Em resumo
Substitua grandes buscas em grade por buscas aleatórias ou adaptativas, interrompa cedo as tentativas ruins, faça primeiro pilotos com poucos dados ou modelos pequenos e comece pelos valores padrão publicados para a sua arquitetura. Acompanhe a energia de cada tentativa, não só da vencedora, e defina um orçamento de computação antes de começar. As execuções de ajuste muitas vezes custam mais do que o treinamento final, e raramente são relatadas.
Passos
- Defina um orçamento de computação para a busca antes de começar.
- Comece pelos hiperparâmetros padrão publicados para a sua família de modelos.
- Use busca aleatória ou adaptativa em vez de uma grade completa.
- Interrompa cedo as tentativas que estejam claramente piores do que a melhor até agora.
- Faça um piloto com um subconjunto dos dados ou um modelo menor antes de aumentar a escala.
- Registre a energia e as emissões de cada tentativa junto com a precisão.
Ajuste de forma mais inteligente, não mais ampla. Uma grade completa sobre muitos hiperparâmetros multiplica o custo do treinamento pelo número de combinações, e a maioria dessas execuções fica claramente pior logo no início.
Por que isso importa?
O artigo de 2019 de Strubell, Ganesh e McCallum quantificou o custo de desenvolver modelos de linguagem, incluindo a experimentação em torno deles, e não apenas uma única execução final de treinamento. O artigo "Green AI" de Schwartz e colegas defendeu que os pesquisadores devem relatar o custo computacional dos seus resultados, incluindo os experimentos necessários para chegar a eles, para que a eficiência seja valorizada junto com a precisão.
O que faz mais diferença?
- Parada precoce das tentativas ruins. Os métodos do tipo successive halving dão a cada tentativa um orçamento pequeno e só continuam as promissoras. A maioria das bibliotecas de ajuste suporta isso.
- Busca aleatória ou adaptativa. Em vez de executar todas as combinações, sorteie configurações ou deixe um método adaptativo usar os resultados anteriores para escolher a tentativa seguinte.
- Pilotos pequenos. Descarte ideias com um subconjunto dos dados ou um modelo menor.
- Valores padrão primeiro. Os valores padrão bem testados para arquiteturas comuns costumam estar perto do ideal.
- Acompanhe cada tentativa. A documentação do CodeCarbon mostra como acompanhar cada configuração e comparar a precisão com as emissões.
Erros comuns
- Relatar só a melhor execução. Inclua todas as tentativas no seu total de computação; veja como relatar o consumo de energia da sua pesquisa.
- Ajustar com o conjunto de dados completo desde o primeiro dia.
- Não ter orçamento. Sem um, as buscas crescem até ocupar o cluster inteiro. Veja como definir um orçamento de computação.
Para saber mais, leia o guia para pesquisadores.
Fontes
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- Green AI, Schwartz, Dodge, Smith and Etzioni, Communications of the ACM (2020)
- Comparing model efficiency with carbon tracking, CodeCarbon documentation (2025)
Relacionados
Como defino um orçamento de computação para um projeto de pesquisa?
Defina e acompanhe um orçamento de computação para pesquisa em IA: estime horas de GPU, faça pilotos, pare cedo execuções fracas, reutilize modelos e relate resultados.
Como reduzo a energia do treinamento de um modelo?
As principais alavancas para cortar a energia do treinamento: partir de um modelo pré-treinado, ajustar o tamanho, precisão mista, parar cedo, local e hora limpos, medir.
Como informo o uso de energia da minha pesquisa em IA?
O que colocar num artigo sobre computação e energia: hardware, horas de GPU de todas as execuções, energia, local, carbono, custo de inferência e o limite usado.
IA verde para pesquisadores
Um guia para pesquisadores sobre métodos de IA eficientes, medição e relato de energia em artigos, orçamentos de computação, financiamento e o papel da matemática.