Em resumo
Sirva o menor modelo que atinja o seu nível de qualidade, num runtime feito para inferência, com o processamento em lotes ativado, os pesos em meia precisão ou quantizados e os caminhos otimizados de atenção e de cache da biblioteca ativados. Depois, teste o desempenho de dois ou três runtimes e opções de hardware com o seu tráfego real e escolha pela energia por pedido, além da latência.
Passos
- Confirme que o modelo é o menor que atinge o seu nível de qualidade.
- Sirva-o com um motor de inferência que suporte lotes contínuos.
- Carregue os pesos em meia precisão ou num formato quantizado testado.
- Ative a atenção eficiente e um cache de chave-valor estático quando a sua biblioteca os suportar.
- Teste o desempenho de dois ou três runtimes e tipos de GPU com os seus tamanhos de lote reais.
- Reduza a escala, ou leve-a a zero, quando o tráfego estiver baixo.
A maior parte da energia de um modelo ao longo da vida é gasta servindo-o, por isso as configurações de serviço importam. Os valores padrão raramente são a opção mais eficiente, e os caminhos otimizados geralmente têm de ser ativados.
O que faz mais diferença?
- Lotes. Um acelerador que atende um pedido de cada vez fica subutilizado, mas continua consumindo energia. Kwon e colegas relataram que o vLLM, com gestão paginada do cache de chave-valor, teve de 2 a 4 vezes a vazão de sistemas anteriores com a mesma latência. Veja como agrupar pedidos de IA em lotes.
- Precisão numérica. A meia precisão ou um modelo quantizado testado precisa de menos memória e muitas vezes de menos GPUs.
- Caminhos de código otimizados. O Hugging Face documenta implementações de atenção eficientes e um cache de
chave-valor estático combinado com
torch.compile, que segundo ele pode dar uma aceleração de até 4x. - Runtime e hardware escolhidos com base em provas. A Green Software Foundation recomenda escolher frameworks e runtimes de inferência eficientes; teste o desempenho deles em vez de usar o que serviu para treinar o modelo.
Erros comuns
- Tratar a velocidade como energia. Pesquisadores do GreenCode que trabalham com o llama.cpp reduziram a energia da GPU em 4,7% enquanto a velocidade subiu só 3%: as duas contam histórias diferentes. Meça ambas.
- Testar o desempenho com lote de tamanho um quando a produção roda com uma concorrência muito maior, ou o contrário.
- Deixar réplicas ligadas durante a noite para um tráfego que não existe. Veja como evitar GPUs ociosas.
- Não aquecer os modelos compilados antes de medir, o que distorce os números.
Para o conjunto completo de ferramentas, leia treinamento e inferência eficientes.
Fontes
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
- Green Software Patterns: select efficient ML frameworks and inference runtimes, Green Software Foundation (2025)
Relacionados
Como agrupo pedidos de IA em lotes para economizar energia?
Como o processamento em lotes aumenta o uso dos aceleradores e reduz a energia por resposta: lotes contínuos para tráfego ao vivo e lotes em fila para o resto.
Como faço a quantização de um modelo?
Como quantizar um modelo de IA para 8 ou 4 bits: que ferramentas usar, como testar a qualidade e quando a quantização economiza energia e quando não economiza.
Como acelero um modelo grande com decodificação especulativa?
Como a decodificação especulativa deixa um pequeno modelo de rascunho propor tokens que um modelo grande verifica: respostas mais rápidas e idênticas.
Treinamento e inferência de IA eficientes
Técnicas para desenvolvedores e pesquisadores reduzirem a energia da IA: poda, esparsidade, quantização, destilação, KV cache, batching, precisão mista e agendamento.