# ¿Cómo agrupo las solicitudes de IA en lotes para ahorrar energía?

> Cómo el procesamiento por lotes aumenta el uso del acelerador y reduce la energía por respuesta: lotes continuos en directo y lotes en cola para trabajo diferido.

Source: https://greenai.guide/es/como/como-agrupo-las-solicitudes-de-ia-en-lotes-para-ahorrar-energia/  
Updated: 2026-11-19

## En resumen

Atienda el tráfico en directo con un motor de inferencia que use procesamiento continuo por lotes (continuous batching), para que las solicitudes simultáneas compartan el acelerador. Ponga en cola el trabajo que no necesita una respuesta inmediata, como el procesamiento nocturno de documentos, y ejecútelo en lotes grandes, a ser posible cuando la red eléctrica esté más limpia. Un acelerador que atiende una sola solicitud cada vez está infrautilizado, pero sigue consumiendo mucha energía.

## Steps

1. Separe las solicitudes interactivas del trabajo que puede esperar minutos u horas.
2. Atienda el tráfico interactivo con un motor que admita procesamiento continuo por lotes.
3. Ponga en cola el trabajo no urgente y procéselo por lotes.
4. Use la interfaz de lotes de su proveedor para los modelos alojados, si existe.
5. Mida la energía por solicitud con tamaños de lote reales, junto con la latencia.

**El procesamiento por lotes permite que una sola pasada del hardware atienda muchas solicitudes.** La energía por
respuesta depende en gran medida de lo ocupado que esté el acelerador.

## ¿Por qué importa? {#why-does-it-matter}

Las GPU consumen mucha energía incluso con poca carga, así que atender las solicitudes de una en una reparte esa
energía entre muy pocas respuestas. Kwon y sus colegas informaron de que vLLM, con procesamiento continuo por lotes y
gestión paginada de la caché de claves y valores, multiplicó el rendimiento por entre 2 y 4 con la misma latencia en
comparación con sistemas anteriores. La documentación de inferencia de Hugging Face también trata el procesamiento
continuo por lotes.

## Dos tipos de procesamiento por lotes {#two-kinds-of-batching}

- **Lotes continuos para el tráfico en directo.** El motor de servicio añade nuevas solicitudes a un lote en marcha
  a medida que otras terminan, de modo que los usuarios no esperan a que se llene un lote. Use un motor que lo
  admita en lugar de un simple bucle de una solicitud por llamada.
- **Lotes diferidos para el trabajo que puede esperar.** Resumir los documentos de ayer, etiquetar un archivo o
  puntuar un conjunto de datos no requiere respuestas inmediatas. Póngalo en cola y procéselo en bloque. La Green
  Software Foundation recomienda ejecutar las cargas de trabajo de IA por lotes en regiones y horarios con bajas
  emisiones de carbono cuando la latencia es menos crítica; consulte
  [cómo programar el trabajo cuando la red eléctrica está más limpia](/es/como/como-programo-el-entrenamiento-para-cuando-la-red-electrica-este-mas/).

## Errores frecuentes {#common-mistakes}

- **Lotes tan grandes que perjudican la latencia** de los usuarios interactivos. Ajústelos con tráfico real.
- **Desperdicio por relleno.** Agrupar entradas muy cortas con otras muy largas desperdicia cómputo en algunos
  motores.
- **Dejar los servidores de lotes encendidos** entre trabajos; consulte [cómo evitar que las GPU estén inactivas](/es/como/como-evito-que-las-gpu-y-los-notebooks-esten-inactivos/).

Lea más en [entrenamiento e inferencia eficientes](/es/buenas-practicas/entrenamiento-e-inferencia-eficientes-de-la-ia/).

## Fuentes

- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [Use carbon-aware scheduling and region selection for AI workloads](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/carbon-aware-ai-scheduling.md), Green Software Foundation, Green Software Patterns (2025)
