# Como agrupo pedidos de IA em lotes para economizar energia?

> Como o processamento em lotes aumenta o uso dos aceleradores e reduz a energia por resposta: lotes contínuos para tráfego ao vivo e lotes em fila para o resto.

Source: https://greenai.guide/pt/como/como-agrupo-pedidos-de-ia-em-lotes-para-economizar-energia/  
Updated: 2026-11-19

## Em resumo

Atenda o tráfego ao vivo com um motor de inferência que use lotes contínuos (continuous batching), para que pedidos simultâneos compartilhem o acelerador. Coloque em fila o trabalho que não precisa de resposta imediata, como o processamento de documentos durante a noite, e execute-o em lotes grandes, de preferência quando a rede elétrica estiver mais limpa. Um acelerador que atende um pedido de cada vez fica subutilizado, mas continua consumindo bastante energia.

## Steps

1. Separe os pedidos interativos do trabalho que pode esperar minutos ou horas.
2. Atenda o tráfego interativo com um motor que suporte lotes contínuos.
3. Coloque o trabalho não urgente em fila e processe-o em lotes.
4. Use a interface de lotes do seu provedor para modelos hospedados, quando existir.
5. Meça a energia por pedido com tamanhos de lote reais, junto com a latência.

**O processamento em lotes permite que uma passagem do hardware atenda muitos pedidos.** A energia por resposta
depende muito de quão ocupado está o acelerador.

## Por que isso importa? {#why-does-it-matter}

As GPUs consomem bastante energia mesmo com pouca carga, por isso atender pedidos um de cada vez distribui essa
energia por pouquíssimas respostas. Kwon e colegas relataram que o vLLM, com lotes contínuos e gestão paginada do
cache de chave-valor, melhorou a vazão de 2 a 4 vezes com a mesma latência, em comparação com sistemas anteriores. A
documentação de inferência do Hugging Face também trata dos lotes contínuos.

## Dois tipos de lote {#two-kinds-of-batching}

- **Lotes contínuos para tráfego ao vivo.** O motor de serviço acrescenta novos pedidos a um lote em execução à
  medida que outros terminam, para que os usuários não esperem um lote encher. Use um motor que suporte isso em vez
  de um laço simples de um pedido por chamada.
- **Lotes offline para trabalho que pode esperar.** Resumir os documentos de ontem, etiquetar um arquivo ou pontuar
  um conjunto de dados não exige respostas imediatas. Coloque isso em fila e processe em bloco. A Green Software
  Foundation recomenda executar cargas de IA em lote em regiões e horários de baixo carbono, onde a latência é
  menos crítica; veja [como programar o trabalho quando a rede está mais verde](/pt/como/como-agendo-o-treinamento-para-quando-a-rede-eletrica-estiver-mais/).

## Erros comuns {#common-mistakes}

- **Lotes tão grandes que prejudicam a latência** para os usuários interativos. Ajuste com tráfego real.
- **Desperdício com preenchimento (padding).** Agrupar entradas muito curtas com muito longas desperdiça computação
  em alguns motores.
- **Deixar os servidores de lote ligados** entre tarefas; veja [como evitar GPUs ociosas](/pt/como/como-evito-que-gpus-e-notebooks-fiquem-ociosos/).

Leia mais em [treinamento e inferência eficientes](/pt/boas-praticas/treinamento-e-inferencia-de-ia-eficientes/).

## Fontes

- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [Use carbon-aware scheduling and region selection for AI workloads](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/carbon-aware-ai-scheduling.md), Green Software Foundation, Green Software Patterns (2025)
