En resumen
Pruebe su modelo real en dos o tres opciones de hardware y de entorno de ejecución y compare la energía por solicitud o por entrenamiento con tamaños de lote realistas, junto con la latencia y el coste. Patterson y sus colegas hallaron que la elección del modelo, el centro de datos y el procesador puede reducir conjuntamente el carbono del entrenamiento hasta unas 100 a 1.000 veces. Mantenga el buen hardware ocupado y en servicio, porque fabricar equipos nuevos tiene su propia huella.
Pasos
- Pruebe su propio modelo en dos o tres opciones de acelerador y de instancia.
- Mida la energía por solicitud o por ejecución con sus tamaños de lote reales, junto con la latencia.
- Pruebe más de un entorno de ejecución de inferencia en cada opción.
- Elija la opción de menor energía que cumpla sus requisitos de latencia y calidad.
- Sopese el carbono incorporado del hardware nuevo frente al ahorro previsto.
- Vuelva a probar cuando cambien el modelo o el tráfico.
Elija el hardware según la energía medida con su carga de trabajo, no según las especificaciones máximas. El mismo modelo puede consumir energías muy distintas en distintos aceleradores, tipos de instancia y entornos de ejecución, y la mejor elección depende de sus tamaños de lote y de su tráfico.
¿Cómo comparo las opciones de forma justa?
Los patrones de la Green Software Foundation recomiendan seleccionar aceleradores y tipos de instancia eficientes, así como marcos y entornos de ejecución de inferencia eficientes, basándose en pruebas. En la práctica:
- ejecute el mismo modelo, con las mismas entradas y ajustes, en cada candidato;
- mida la energía por solicitud (o por ejecución) con los tamaños de lote que usará realmente, no solo en el mejor caso;
- registre la latencia y la calidad junto con la energía;
- incluya el entorno de ejecución: otro motor de servicio en el mismo chip puede cambiar el resultado.
Patterson y sus colegas hallaron que la elección de la arquitectura del modelo, el centro de datos y el procesador puede reducir la huella de carbono del entrenamiento hasta unas 100 a 1.000 veces, así que la elección del hardware debe tomarse junto con esas otras decisiones.
¿Debo comprar hardware nuevo?
No automáticamente. Wu y sus colegas de Meta informaron de que el carbono incorporado, procedente de fabricar el hardware, era aproximadamente el 30% de la huella del aprendizaje automático a gran escala de Meta. Un acelerador nuevo debe ahorrar suficiente energía a lo largo de su vida para compensar su fabricación. Consulte contabilizar el carbono incorporado.
Errores frecuentes
- Infrautilizar los aceleradores grandes. Una GPU grande con poca utilización puede consumir más energía por respuesta que una más pequeña que se mantiene ocupada; consulte agrupar las solicitudes de IA en lotes.
- Hacer las pruebas una sola vez. Vuelva a probar cuando cambien el modelo, el entorno de ejecución o el tráfico.
Consulte entrenamiento e inferencia eficientes.
Fuentes
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Select efficient accelerators and instance types for AI workloads, Green Software Foundation, Green Software Patterns (2025)
- Select efficient ML frameworks and inference runtimes, Green Software Foundation, Green Software Patterns (2025)
- Sustainable AI: environmental implications, challenges and opportunities, Wu et al., MLSys (2022)
Relacionado
¿Cómo reduzco la energía de servir un modelo en producción?
Cómo servir un modelo autoalojado con menos energía por solicitud: entornos de ejecución eficientes, lotes, media precisión, cachés compiladas y hardware probado.
¿Cómo contabilizo el carbono incorporado del hardware de IA?
Incluya las emisiones de fabricar chips y servidores de IA: asigne una parte según el tiempo de uso, pida datos a los proveedores y alargue la vida del hardware.
¿Cómo comparo el consumo de energía de distintos modelos de IA?
Cómo comparar con justicia la energía de los modelos de IA: use referencias como el AI Energy Score o mídalos usted con la misma tarea, hardware y ajustes.
Entrenamiento e inferencia eficientes de la IA
Técnicas para reducir la energía de la IA: poda, dispersión, cuantización, destilación, caché KV, procesamiento por lotes, precisión mixta y planificación.