Em resumo
Faça testes de desempenho com o seu modelo real em duas ou três opções de hardware e de runtime e compare a energia por pedido ou por execução de treinamento com tamanhos de lote realistas, junto com a latência e o custo. Patterson e colegas concluíram que a escolha do modelo, do data center e do processador, em conjunto, pode reduzir o carbono do treinamento em até cerca de 100 a 1.000 vezes. Mantenha o bom hardware ocupado e em serviço, porque fabricar equipamento novo tem a sua própria pegada.
Passos
- Teste o desempenho do seu próprio modelo em duas ou três opções de acelerador e de instância.
- Meça a energia por pedido ou por execução com os seus tamanhos de lote reais, junto com a latência.
- Experimente mais de um runtime de inferência em cada opção.
- Escolha a opção com a menor energia que atenda às suas necessidades de latência e qualidade.
- Pese o carbono incorporado do hardware novo contra a economia esperada.
- Teste de novo quando o modelo ou o tráfego mudarem.
Escolha o hardware pela energia medida para a sua carga de trabalho, não pelas especificações de pico. O mesmo modelo pode usar energias muito diferentes em aceleradores, tipos de instância e runtimes diferentes, e a melhor escolha depende dos seus tamanhos de lote e do seu tráfego.
Como comparo as opções de forma justa?
Os padrões da Green Software Foundation recomendam escolher aceleradores e tipos de instância eficientes, e frameworks e runtimes de inferência eficientes, com base em provas. Na prática:
- execute o mesmo modelo, com as mesmas entradas e configurações, em cada candidato;
- meça a energia por pedido (ou por execução) com os tamanhos de lote que você vai usar de fato, não só no melhor caso;
- registre a latência e a qualidade junto com a energia;
- inclua o runtime: outro motor de serviço no mesmo chip pode mudar o resultado.
Patterson e colegas concluíram que a escolha da arquitetura do modelo, do data center e do processador pode reduzir a pegada de carbono do treinamento em até cerca de 100 a 1.000 vezes, por isso a escolha do hardware deve ser feita junto com essas outras decisões.
Devo comprar hardware novo?
Não automaticamente. Wu e colegas da Meta relataram que o carbono incorporado, gerado na fabricação do hardware, era cerca de 30% da pegada do aprendizado de máquina em grande escala da Meta. Um acelerador novo precisa poupar energia suficiente ao longo da sua vida para compensar a sua fabricação. Veja contabilizar o carbono incorporado.
Erros comuns
- Subutilizar aceleradores grandes. Uma GPU grande com baixa utilização pode usar mais energia por resposta do que uma menor mantida ocupada; veja agrupar pedidos de IA em lotes.
- Testar o desempenho uma única vez. Teste de novo quando o modelo, o runtime ou o tráfego mudarem.
Veja treinamento e inferência eficientes.
Fontes
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Select efficient accelerators and instance types for AI workloads, Green Software Foundation, Green Software Patterns (2025)
- Select efficient ML frameworks and inference runtimes, Green Software Foundation, Green Software Patterns (2025)
- Sustainable AI: environmental implications, challenges and opportunities, Wu et al., MLSys (2022)
Relacionados
Como reduzo a energia de servir um modelo em produção?
Como servir um modelo auto-hospedado com menos energia por pedido: runtimes eficientes, lotes, meia precisão, caches compilados e hardware testado.
Como contabilizo o carbono incorporado do hardware de IA?
Inclua as emissões da fabricação de chips e servidores de IA: atribua uma parte pelo tempo de uso, peça dados aos fornecedores e use o hardware por mais tempo.
Como comparo o consumo de energia de diferentes modelos de IA?
Como comparar modelos de IA por energia de forma justa: use referências como o AI Energy Score ou meça você mesmo na mesma tarefa, hardware e configuração.
Treinamento e inferência de IA eficientes
Técnicas para desenvolvedores e pesquisadores reduzirem a energia da IA: poda, esparsidade, quantização, destilação, KV cache, batching, precisão mista e agendamento.