# ¿Cómo reduzco la energía de servir un modelo en producción?

> Cómo servir un modelo autoalojado con menos energía por solicitud: entornos de ejecución eficientes, lotes, media precisión, cachés compiladas y hardware probado.

Source: https://greenai.guide/es/como/como-reduzco-la-energia-de-servir-un-modelo-en-produccion/  
Updated: 2026-11-19

## En resumen

Sirva el modelo más pequeño que alcance su nivel de calidad, en un entorno de ejecución diseñado para la inferencia, con el procesamiento por lotes activado, los pesos en media precisión o cuantizados y las rutas optimizadas de atención y caché de la biblioteca habilitadas. Después, pruebe dos o tres entornos de ejecución y opciones de hardware con su tráfico real, y elija según la energía por solicitud además de la latencia.

## Steps

1. Confirme que el modelo es el más pequeño que alcanza su nivel de calidad.
2. Sírvalo con un motor de inferencia que admita procesamiento continuo por lotes.
3. Cargue los pesos en media precisión o en un formato cuantizado probado.
4. Active la atención eficiente y una caché estática de claves y valores cuando su biblioteca lo admita.
5. Pruebe dos o tres entornos de ejecución y tipos de GPU con sus tamaños de lote reales.
6. Reduzca la escala, o llévela a cero, cuando el tráfico sea bajo.

**La mayor parte de la energía que consume un modelo a lo largo de su vida se gasta en servirlo, así que los ajustes
de servicio importan.** Los valores por defecto rara vez son la opción más eficiente, y las rutas optimizadas suelen
tener que activarse.

## ¿Qué marca la mayor diferencia? {#what-makes-the-biggest-difference}

1. **El procesamiento por lotes.** Un acelerador que atiende una solicitud cada vez está infrautilizado, pero sigue
   consumiendo energía. Kwon y sus colegas informaron de que vLLM, con gestión paginada de la caché de claves y
   valores, multiplicó por entre 2 y 4 el rendimiento de sistemas anteriores con la misma latencia. Consulte
   [cómo agrupar las solicitudes de IA en lotes](/es/como/como-agrupo-las-solicitudes-de-ia-en-lotes-para-ahorrar-energia/).
2. **La precisión.** La media precisión o un modelo [cuantizado](/es/como/como-cuantizo-un-modelo/) probado necesitan menos
   memoria y a menudo menos GPU.
3. **Rutas de código optimizadas.** Hugging Face documenta implementaciones de atención eficientes y una caché
   estática de claves y valores combinada con `torch.compile`, que según afirma puede acelerar hasta 4 veces.
4. **Entorno de ejecución y hardware elegidos con pruebas.** La Green Software Foundation recomienda seleccionar
   marcos y entornos de ejecución de inferencia eficientes; pruébelos en lugar de usar lo mismo con que se entrenó el
   modelo.

## Errores frecuentes {#common-mistakes}

- **Tratar la velocidad como energía.** Investigadores de GreenCode que trabajaban con llama.cpp redujeron un 4,7% la
  energía de la GPU mientras la velocidad solo aumentó un 3%: ambas cifras cuentan historias distintas. Mida las dos.
- **Hacer pruebas con un tamaño de lote de uno** cuando la producción funciona con mucha más concurrencia, o al
  revés.
- **Dejar réplicas en marcha toda la noche** para un tráfico que no existe. Consulte
  [cómo evitar que las GPU estén inactivas](/es/como/como-evito-que-las-gpu-y-los-notebooks-esten-inactivos/).
- **No calentar los modelos compilados** antes de medir, lo que distorsiona las cifras.

Para el conjunto completo de herramientas, lea [entrenamiento e inferencia eficientes](/es/buenas-practicas/entrenamiento-e-inferencia-eficientes-de-la-ia/).

## Fuentes

- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [GreenCode Constitution: agent principles for optimizing code and LLM inference energy use](https://greencode.ai/publications/greencode-constitution-agent-principles-for-optimizing-code-and-llm-inference-en/), Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
- [Green Software Patterns: select efficient ML frameworks and inference runtimes](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/select-efficient-ml-frameworks-inference-runtimes.md), Green Software Foundation (2025)
