En resumen
Sirva el modelo más pequeño que alcance su nivel de calidad, en un entorno de ejecución diseñado para la inferencia, con el procesamiento por lotes activado, los pesos en media precisión o cuantizados y las rutas optimizadas de atención y caché de la biblioteca habilitadas. Después, pruebe dos o tres entornos de ejecución y opciones de hardware con su tráfico real, y elija según la energía por solicitud además de la latencia.
Pasos
- Confirme que el modelo es el más pequeño que alcanza su nivel de calidad.
- Sírvalo con un motor de inferencia que admita procesamiento continuo por lotes.
- Cargue los pesos en media precisión o en un formato cuantizado probado.
- Active la atención eficiente y una caché estática de claves y valores cuando su biblioteca lo admita.
- Pruebe dos o tres entornos de ejecución y tipos de GPU con sus tamaños de lote reales.
- Reduzca la escala, o llévela a cero, cuando el tráfico sea bajo.
La mayor parte de la energía que consume un modelo a lo largo de su vida se gasta en servirlo, así que los ajustes de servicio importan. Los valores por defecto rara vez son la opción más eficiente, y las rutas optimizadas suelen tener que activarse.
¿Qué marca la mayor diferencia?
- El procesamiento por lotes. Un acelerador que atiende una solicitud cada vez está infrautilizado, pero sigue consumiendo energía. Kwon y sus colegas informaron de que vLLM, con gestión paginada de la caché de claves y valores, multiplicó por entre 2 y 4 el rendimiento de sistemas anteriores con la misma latencia. Consulte cómo agrupar las solicitudes de IA en lotes.
- La precisión. La media precisión o un modelo cuantizado probado necesitan menos memoria y a menudo menos GPU.
- Rutas de código optimizadas. Hugging Face documenta implementaciones de atención eficientes y una caché
estática de claves y valores combinada con
torch.compile, que según afirma puede acelerar hasta 4 veces. - Entorno de ejecución y hardware elegidos con pruebas. La Green Software Foundation recomienda seleccionar marcos y entornos de ejecución de inferencia eficientes; pruébelos en lugar de usar lo mismo con que se entrenó el modelo.
Errores frecuentes
- Tratar la velocidad como energía. Investigadores de GreenCode que trabajaban con llama.cpp redujeron un 4,7% la energía de la GPU mientras la velocidad solo aumentó un 3%: ambas cifras cuentan historias distintas. Mida las dos.
- Hacer pruebas con un tamaño de lote de uno cuando la producción funciona con mucha más concurrencia, o al revés.
- Dejar réplicas en marcha toda la noche para un tráfico que no existe. Consulte cómo evitar que las GPU estén inactivas.
- No calentar los modelos compilados antes de medir, lo que distorsiona las cifras.
Para el conjunto completo de herramientas, lea entrenamiento e inferencia eficientes.
Fuentes
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
- Green Software Patterns: select efficient ML frameworks and inference runtimes, Green Software Foundation (2025)
Relacionado
¿Cómo agrupo las solicitudes de IA en lotes para ahorrar energía?
Cómo el procesamiento por lotes aumenta el uso del acelerador y reduce la energía por respuesta: lotes continuos en directo y lotes en cola para trabajo diferido.
¿Cómo cuantizo un modelo?
Cómo cuantizar un modelo de IA a 8 o 4 bits: qué herramientas usar, cómo probar la calidad y cuándo la cuantización ahorra energía y cuándo no.
¿Cómo acelero un modelo grande con la decodificación especulativa?
Cómo la decodificación especulativa permite que un pequeño modelo borrador proponga tokens que un modelo grande verifica, con respuestas más rápidas e idénticas.
Entrenamiento e inferencia eficientes de la IA
Técnicas para reducir la energía de la IA: poda, dispersión, cuantización, destilación, caché KV, procesamiento por lotes, precisión mixta y planificación.