Em resumo
Atenda o tráfego ao vivo com um motor de inferência que use lotes contínuos (continuous batching), para que pedidos simultâneos compartilhem o acelerador. Coloque em fila o trabalho que não precisa de resposta imediata, como o processamento de documentos durante a noite, e execute-o em lotes grandes, de preferência quando a rede elétrica estiver mais limpa. Um acelerador que atende um pedido de cada vez fica subutilizado, mas continua consumindo bastante energia.
Passos
- Separe os pedidos interativos do trabalho que pode esperar minutos ou horas.
- Atenda o tráfego interativo com um motor que suporte lotes contínuos.
- Coloque o trabalho não urgente em fila e processe-o em lotes.
- Use a interface de lotes do seu provedor para modelos hospedados, quando existir.
- Meça a energia por pedido com tamanhos de lote reais, junto com a latência.
O processamento em lotes permite que uma passagem do hardware atenda muitos pedidos. A energia por resposta depende muito de quão ocupado está o acelerador.
Por que isso importa?
As GPUs consomem bastante energia mesmo com pouca carga, por isso atender pedidos um de cada vez distribui essa energia por pouquíssimas respostas. Kwon e colegas relataram que o vLLM, com lotes contínuos e gestão paginada do cache de chave-valor, melhorou a vazão de 2 a 4 vezes com a mesma latência, em comparação com sistemas anteriores. A documentação de inferência do Hugging Face também trata dos lotes contínuos.
Dois tipos de lote
- Lotes contínuos para tráfego ao vivo. O motor de serviço acrescenta novos pedidos a um lote em execução à medida que outros terminam, para que os usuários não esperem um lote encher. Use um motor que suporte isso em vez de um laço simples de um pedido por chamada.
- Lotes offline para trabalho que pode esperar. Resumir os documentos de ontem, etiquetar um arquivo ou pontuar um conjunto de dados não exige respostas imediatas. Coloque isso em fila e processe em bloco. A Green Software Foundation recomenda executar cargas de IA em lote em regiões e horários de baixo carbono, onde a latência é menos crítica; veja como programar o trabalho quando a rede está mais verde.
Erros comuns
- Lotes tão grandes que prejudicam a latência para os usuários interativos. Ajuste com tráfego real.
- Desperdício com preenchimento (padding). Agrupar entradas muito curtas com muito longas desperdiça computação em alguns motores.
- Deixar os servidores de lote ligados entre tarefas; veja como evitar GPUs ociosas.
Leia mais em treinamento e inferência eficientes.
Fontes
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)
Relacionados
Como reduzo a energia de servir um modelo em produção?
Como servir um modelo auto-hospedado com menos energia por pedido: runtimes eficientes, lotes, meia precisão, caches compilados e hardware testado.
Como agendo o treinamento para quando a rede elétrica estiver mais verde?
Rode treinamentos e trabalhos de IA em lote quando a intensidade de carbono da rede estiver baixa: use previsões, checkpoints para pausar e prazos como limite firme.
Treinamento e inferência de IA eficientes
Técnicas para desenvolvedores e pesquisadores reduzirem a energia da IA: poda, esparsidade, quantização, destilação, KV cache, batching, precisão mista e agendamento.
Como evito que GPUs e notebooks fiquem ociosos?
Evite que hardware de IA ocioso gaste energia: recursos sob demanda, notebooks que param sozinhos, escala a zero fora do expediente e horas de GPU ociosas visíveis.