greenai.guide

Início › Como faço para…? › Como reduzo a energia de servir um modelo em produção?

Como faço para…?

Como reduzo a energia de servir um modelo em produção?

Atualizado · 1 min de leitura

Em resumo

Sirva o menor modelo que atinja o seu nível de qualidade, num runtime feito para inferência, com o processamento em lotes ativado, os pesos em meia precisão ou quantizados e os caminhos otimizados de atenção e de cache da biblioteca ativados. Depois, teste o desempenho de dois ou três runtimes e opções de hardware com o seu tráfego real e escolha pela energia por pedido, além da latência.

Passos

  1. Confirme que o modelo é o menor que atinge o seu nível de qualidade.
  2. Sirva-o com um motor de inferência que suporte lotes contínuos.
  3. Carregue os pesos em meia precisão ou num formato quantizado testado.
  4. Ative a atenção eficiente e um cache de chave-valor estático quando a sua biblioteca os suportar.
  5. Teste o desempenho de dois ou três runtimes e tipos de GPU com os seus tamanhos de lote reais.
  6. Reduza a escala, ou leve-a a zero, quando o tráfego estiver baixo.

A maior parte da energia de um modelo ao longo da vida é gasta servindo-o, por isso as configurações de serviço importam. Os valores padrão raramente são a opção mais eficiente, e os caminhos otimizados geralmente têm de ser ativados.

O que faz mais diferença?

  1. Lotes. Um acelerador que atende um pedido de cada vez fica subutilizado, mas continua consumindo energia. Kwon e colegas relataram que o vLLM, com gestão paginada do cache de chave-valor, teve de 2 a 4 vezes a vazão de sistemas anteriores com a mesma latência. Veja como agrupar pedidos de IA em lotes.
  2. Precisão numérica. A meia precisão ou um modelo quantizado testado precisa de menos memória e muitas vezes de menos GPUs.
  3. Caminhos de código otimizados. O Hugging Face documenta implementações de atenção eficientes e um cache de chave-valor estático combinado com torch.compile, que segundo ele pode dar uma aceleração de até 4x.
  4. Runtime e hardware escolhidos com base em provas. A Green Software Foundation recomenda escolher frameworks e runtimes de inferência eficientes; teste o desempenho deles em vez de usar o que serviu para treinar o modelo.

Erros comuns

  • Tratar a velocidade como energia. Pesquisadores do GreenCode que trabalham com o llama.cpp reduziram a energia da GPU em 4,7% enquanto a velocidade subiu só 3%: as duas contam histórias diferentes. Meça ambas.
  • Testar o desempenho com lote de tamanho um quando a produção roda com uma concorrência muito maior, ou o contrário.
  • Deixar réplicas ligadas durante a noite para um tráfego que não existe. Veja como evitar GPUs ociosas.
  • Não aquecer os modelos compilados antes de medir, o que distorce os números.

Para o conjunto completo de ferramentas, leia treinamento e inferência eficientes.

Fontes

  1. Optimizing inference, Hugging Face Transformers documentation (2026)
  2. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  3. GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
  4. Green Software Patterns: select efficient ML frameworks and inference runtimes, Green Software Foundation (2025)

Junte-se a nós

Ajude a reduzir o impacto da IA no planeta

Receba novos guias, editais de financiamento e listagens dos diretórios por e-mail, cerca de uma vez por mês. Ou adicione seu produto, curso, doutorado ou pesquisa aos diretórios.

Sem rastreamento. Cancele a inscrição com um clique. Outras formas de participar · Privacidade