greenai.guide

Início › Como faço para…? › Como agrupo pedidos de IA em lotes para economizar energia?

Como faço para…?

Como agrupo pedidos de IA em lotes para economizar energia?

Atualizado · 1 min de leitura

Em resumo

Atenda o tráfego ao vivo com um motor de inferência que use lotes contínuos (continuous batching), para que pedidos simultâneos compartilhem o acelerador. Coloque em fila o trabalho que não precisa de resposta imediata, como o processamento de documentos durante a noite, e execute-o em lotes grandes, de preferência quando a rede elétrica estiver mais limpa. Um acelerador que atende um pedido de cada vez fica subutilizado, mas continua consumindo bastante energia.

Passos

  1. Separe os pedidos interativos do trabalho que pode esperar minutos ou horas.
  2. Atenda o tráfego interativo com um motor que suporte lotes contínuos.
  3. Coloque o trabalho não urgente em fila e processe-o em lotes.
  4. Use a interface de lotes do seu provedor para modelos hospedados, quando existir.
  5. Meça a energia por pedido com tamanhos de lote reais, junto com a latência.

O processamento em lotes permite que uma passagem do hardware atenda muitos pedidos. A energia por resposta depende muito de quão ocupado está o acelerador.

Por que isso importa?

As GPUs consomem bastante energia mesmo com pouca carga, por isso atender pedidos um de cada vez distribui essa energia por pouquíssimas respostas. Kwon e colegas relataram que o vLLM, com lotes contínuos e gestão paginada do cache de chave-valor, melhorou a vazão de 2 a 4 vezes com a mesma latência, em comparação com sistemas anteriores. A documentação de inferência do Hugging Face também trata dos lotes contínuos.

Dois tipos de lote

  • Lotes contínuos para tráfego ao vivo. O motor de serviço acrescenta novos pedidos a um lote em execução à medida que outros terminam, para que os usuários não esperem um lote encher. Use um motor que suporte isso em vez de um laço simples de um pedido por chamada.
  • Lotes offline para trabalho que pode esperar. Resumir os documentos de ontem, etiquetar um arquivo ou pontuar um conjunto de dados não exige respostas imediatas. Coloque isso em fila e processe em bloco. A Green Software Foundation recomenda executar cargas de IA em lote em regiões e horários de baixo carbono, onde a latência é menos crítica; veja como programar o trabalho quando a rede está mais verde.

Erros comuns

  • Lotes tão grandes que prejudicam a latência para os usuários interativos. Ajuste com tráfego real.
  • Desperdício com preenchimento (padding). Agrupar entradas muito curtas com muito longas desperdiça computação em alguns motores.
  • Deixar os servidores de lote ligados entre tarefas; veja como evitar GPUs ociosas.

Leia mais em treinamento e inferência eficientes.

Fontes

  1. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)

Junte-se a nós

Ajude a reduzir o impacto da IA no planeta

Receba novos guias, editais de financiamento e listagens dos diretórios por e-mail, cerca de uma vez por mês. Ou adicione seu produto, curso, doutorado ou pesquisa aos diretórios.

Sem rastreamento. Cancele a inscrição com um clique. Outras formas de participar · Privacidade