En resumen
Atienda el tráfico en directo con un motor de inferencia que use procesamiento continuo por lotes (continuous batching), para que las solicitudes simultáneas compartan el acelerador. Ponga en cola el trabajo que no necesita una respuesta inmediata, como el procesamiento nocturno de documentos, y ejecútelo en lotes grandes, a ser posible cuando la red eléctrica esté más limpia. Un acelerador que atiende una sola solicitud cada vez está infrautilizado, pero sigue consumiendo mucha energía.
Pasos
- Separe las solicitudes interactivas del trabajo que puede esperar minutos u horas.
- Atienda el tráfico interactivo con un motor que admita procesamiento continuo por lotes.
- Ponga en cola el trabajo no urgente y procéselo por lotes.
- Use la interfaz de lotes de su proveedor para los modelos alojados, si existe.
- Mida la energía por solicitud con tamaños de lote reales, junto con la latencia.
El procesamiento por lotes permite que una sola pasada del hardware atienda muchas solicitudes. La energía por respuesta depende en gran medida de lo ocupado que esté el acelerador.
¿Por qué importa?
Las GPU consumen mucha energía incluso con poca carga, así que atender las solicitudes de una en una reparte esa energía entre muy pocas respuestas. Kwon y sus colegas informaron de que vLLM, con procesamiento continuo por lotes y gestión paginada de la caché de claves y valores, multiplicó el rendimiento por entre 2 y 4 con la misma latencia en comparación con sistemas anteriores. La documentación de inferencia de Hugging Face también trata el procesamiento continuo por lotes.
Dos tipos de procesamiento por lotes
- Lotes continuos para el tráfico en directo. El motor de servicio añade nuevas solicitudes a un lote en marcha a medida que otras terminan, de modo que los usuarios no esperan a que se llene un lote. Use un motor que lo admita en lugar de un simple bucle de una solicitud por llamada.
- Lotes diferidos para el trabajo que puede esperar. Resumir los documentos de ayer, etiquetar un archivo o puntuar un conjunto de datos no requiere respuestas inmediatas. Póngalo en cola y procéselo en bloque. La Green Software Foundation recomienda ejecutar las cargas de trabajo de IA por lotes en regiones y horarios con bajas emisiones de carbono cuando la latencia es menos crítica; consulte cómo programar el trabajo cuando la red eléctrica está más limpia.
Errores frecuentes
- Lotes tan grandes que perjudican la latencia de los usuarios interactivos. Ajústelos con tráfico real.
- Desperdicio por relleno. Agrupar entradas muy cortas con otras muy largas desperdicia cómputo en algunos motores.
- Dejar los servidores de lotes encendidos entre trabajos; consulte cómo evitar que las GPU estén inactivas.
Lea más en entrenamiento e inferencia eficientes.
Fuentes
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)
Relacionado
¿Cómo reduzco la energía de servir un modelo en producción?
Cómo servir un modelo autoalojado con menos energía por solicitud: entornos de ejecución eficientes, lotes, media precisión, cachés compiladas y hardware probado.
¿Cómo programo el entrenamiento para cuando la red eléctrica esté más limpia?
Ejecute entrenamientos y trabajos de IA por lotes cuando la intensidad de carbono de la red sea baja: use previsiones, puntos de control y plazos como límites firmes.
Entrenamiento e inferencia eficientes de la IA
Técnicas para reducir la energía de la IA: poda, dispersión, cuantización, destilación, caché KV, procesamiento por lotes, precisión mixta y planificación.
¿Cómo evito que las GPU y los notebooks estén inactivos?
Evite que el hardware de IA inactivo derroche energía: recursos bajo demanda, apagado de notebooks inactivos, escalado a cero fuera de horario y horas de GPU visibles.