greenai.guide

Início › Como faço para…? › Como escolho hardware de IA eficiente em energia?

Como faço para…?

Como escolho hardware de IA eficiente em energia?

Atualizado · 1 min de leitura

Em resumo

Faça testes de desempenho com o seu modelo real em duas ou três opções de hardware e de runtime e compare a energia por pedido ou por execução de treinamento com tamanhos de lote realistas, junto com a latência e o custo. Patterson e colegas concluíram que a escolha do modelo, do data center e do processador, em conjunto, pode reduzir o carbono do treinamento em até cerca de 100 a 1.000 vezes. Mantenha o bom hardware ocupado e em serviço, porque fabricar equipamento novo tem a sua própria pegada.

Passos

  1. Teste o desempenho do seu próprio modelo em duas ou três opções de acelerador e de instância.
  2. Meça a energia por pedido ou por execução com os seus tamanhos de lote reais, junto com a latência.
  3. Experimente mais de um runtime de inferência em cada opção.
  4. Escolha a opção com a menor energia que atenda às suas necessidades de latência e qualidade.
  5. Pese o carbono incorporado do hardware novo contra a economia esperada.
  6. Teste de novo quando o modelo ou o tráfego mudarem.

Escolha o hardware pela energia medida para a sua carga de trabalho, não pelas especificações de pico. O mesmo modelo pode usar energias muito diferentes em aceleradores, tipos de instância e runtimes diferentes, e a melhor escolha depende dos seus tamanhos de lote e do seu tráfego.

Como comparo as opções de forma justa?

Os padrões da Green Software Foundation recomendam escolher aceleradores e tipos de instância eficientes, e frameworks e runtimes de inferência eficientes, com base em provas. Na prática:

  • execute o mesmo modelo, com as mesmas entradas e configurações, em cada candidato;
  • meça a energia por pedido (ou por execução) com os tamanhos de lote que você vai usar de fato, não só no melhor caso;
  • registre a latência e a qualidade junto com a energia;
  • inclua o runtime: outro motor de serviço no mesmo chip pode mudar o resultado.

Patterson e colegas concluíram que a escolha da arquitetura do modelo, do data center e do processador pode reduzir a pegada de carbono do treinamento em até cerca de 100 a 1.000 vezes, por isso a escolha do hardware deve ser feita junto com essas outras decisões.

Devo comprar hardware novo?

Não automaticamente. Wu e colegas da Meta relataram que o carbono incorporado, gerado na fabricação do hardware, era cerca de 30% da pegada do aprendizado de máquina em grande escala da Meta. Um acelerador novo precisa poupar energia suficiente ao longo da sua vida para compensar a sua fabricação. Veja contabilizar o carbono incorporado.

Erros comuns

  • Subutilizar aceleradores grandes. Uma GPU grande com baixa utilização pode usar mais energia por resposta do que uma menor mantida ocupada; veja agrupar pedidos de IA em lotes.
  • Testar o desempenho uma única vez. Teste de novo quando o modelo, o runtime ou o tráfego mudarem.

Veja treinamento e inferência eficientes.

Fontes

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Select efficient accelerators and instance types for AI workloads, Green Software Foundation, Green Software Patterns (2025)
  3. Select efficient ML frameworks and inference runtimes, Green Software Foundation, Green Software Patterns (2025)
  4. Sustainable AI: environmental implications, challenges and opportunities, Wu et al., MLSys (2022)

Junte-se a nós

Ajude a reduzir o impacto da IA no planeta

Receba novos guias, editais de financiamento e listagens dos diretórios por e-mail, cerca de uma vez por mês. Ou adicione seu produto, curso, doutorado ou pesquisa aos diretórios.

Sem rastreamento. Cancele a inscrição com um clique. Outras formas de participar · Privacidade