greenai.guide

Inicio › ¿Cómo puedo…? › ¿Cómo agrupo las solicitudes de IA en lotes para ahorrar energía?

¿Cómo puedo…?

¿Cómo agrupo las solicitudes de IA en lotes para ahorrar energía?

Actualizado · 1 min de lectura

En resumen

Atienda el tráfico en directo con un motor de inferencia que use procesamiento continuo por lotes (continuous batching), para que las solicitudes simultáneas compartan el acelerador. Ponga en cola el trabajo que no necesita una respuesta inmediata, como el procesamiento nocturno de documentos, y ejecútelo en lotes grandes, a ser posible cuando la red eléctrica esté más limpia. Un acelerador que atiende una sola solicitud cada vez está infrautilizado, pero sigue consumiendo mucha energía.

Pasos

  1. Separe las solicitudes interactivas del trabajo que puede esperar minutos u horas.
  2. Atienda el tráfico interactivo con un motor que admita procesamiento continuo por lotes.
  3. Ponga en cola el trabajo no urgente y procéselo por lotes.
  4. Use la interfaz de lotes de su proveedor para los modelos alojados, si existe.
  5. Mida la energía por solicitud con tamaños de lote reales, junto con la latencia.

El procesamiento por lotes permite que una sola pasada del hardware atienda muchas solicitudes. La energía por respuesta depende en gran medida de lo ocupado que esté el acelerador.

¿Por qué importa?

Las GPU consumen mucha energía incluso con poca carga, así que atender las solicitudes de una en una reparte esa energía entre muy pocas respuestas. Kwon y sus colegas informaron de que vLLM, con procesamiento continuo por lotes y gestión paginada de la caché de claves y valores, multiplicó el rendimiento por entre 2 y 4 con la misma latencia en comparación con sistemas anteriores. La documentación de inferencia de Hugging Face también trata el procesamiento continuo por lotes.

Dos tipos de procesamiento por lotes

  • Lotes continuos para el tráfico en directo. El motor de servicio añade nuevas solicitudes a un lote en marcha a medida que otras terminan, de modo que los usuarios no esperan a que se llene un lote. Use un motor que lo admita en lugar de un simple bucle de una solicitud por llamada.
  • Lotes diferidos para el trabajo que puede esperar. Resumir los documentos de ayer, etiquetar un archivo o puntuar un conjunto de datos no requiere respuestas inmediatas. Póngalo en cola y procéselo en bloque. La Green Software Foundation recomienda ejecutar las cargas de trabajo de IA por lotes en regiones y horarios con bajas emisiones de carbono cuando la latencia es menos crítica; consulte cómo programar el trabajo cuando la red eléctrica está más limpia.

Errores frecuentes

  • Lotes tan grandes que perjudican la latencia de los usuarios interactivos. Ajústelos con tráfico real.
  • Desperdicio por relleno. Agrupar entradas muy cortas con otras muy largas desperdicia cómputo en algunos motores.
  • Dejar los servidores de lotes encendidos entre trabajos; consulte cómo evitar que las GPU estén inactivas.

Lea más en entrenamiento e inferencia eficientes.

Fuentes

  1. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)

Únase a nosotros

Ayude a reducir el impacto de la IA en el planeta

Reciba por correo electrónico nuevas guías, convocatorias de financiación y fichas de los directorios, aproximadamente una vez al mes. O añada su producto, curso, doctorado o investigación a los directorios.

Sin seguimiento. Cancele la suscripción con un clic. Otras formas de unirse · Privacidad