En resumen
Parta de un modelo preentrenado cuando pueda, elija la arquitectura más pequeña que pueda alcanzar su nivel, entrene con precisión mixta, pare cuando la validación deje de mejorar y ejecute en hardware eficiente, en una región y a una hora con bajas emisiones. Patterson y sus colegas hallaron que la elección del modelo, el centro de datos y el procesador puede reducir la huella de carbono del entrenamiento hasta unas 100 a 1.000 veces. Mida cada ejecución para que las compensaciones entre opciones sean visibles.
Pasos
- Compruebe si puede hacer el ajuste fino de un modelo preentrenado en lugar de entrenar desde cero.
- Pruebe las ideas a pequeña escala antes de lanzar una ejecución completa.
- Entrene con precisión mixta y pare pronto cuando la validación deje de mejorar.
- Ejecute en aceleradores eficientes en una región con bajas emisiones, y programe las ejecuciones flexibles para las horas más limpias.
- Guarde puntos de control para que las ejecuciones puedan pausarse, reanudarse y no empezar de nuevo.
- Registre la energía y las emisiones de cada ejecución, incluidas las fallidas.
La energía del entrenamiento depende sobre todo de las decisiones que se toman antes de que empiece la ejecución. Qué entrena, con qué, dónde y cuándo importa más que cualquier ajuste durante la ejecución.
¿Por qué importa?
El artículo de 2019 de Strubell, Ganesh y McCallum cuantificó el coste económico y ambiental de entrenar modelos de lenguaje y propuso formas de reducirlo. Patterson y sus colegas hallaron después que la elección de la arquitectura del modelo, el centro de datos y el procesador puede reducir la huella de carbono del entrenamiento hasta unas 100 a 1.000 veces.
¿Qué marca la mayor diferencia?
- No entrenar desde cero. El ajuste fino de un modelo preentrenado, o de un adaptador sobre él, suele costar una fracción minúscula del preentrenamiento. Consulte cómo evitar entrenar desde cero.
- Ajustar el tamaño. Una arquitectura más pequeña que alcanza el nivel es mejor que una grande que lo supera.
- Precisión mixta. Entrenar en media precisión con una copia maestra de precisión completa redujo casi a la mitad el uso de memoria en el trabajo de Micikevicius y sus colegas, lo que permite lotes mayores en el mismo hardware.
- Parada temprana. Termine las ejecuciones cuando la pérdida de validación se estanque.
- Dónde y cuándo. Elija aceleradores eficientes y una región con bajas emisiones, y ejecute los trabajos flexibles cuando la red esté más limpia: consulte cómo programar el entrenamiento.
Errores frecuentes
- Contar solo la ejecución final. El ajuste y las ejecuciones fallidas suelen costar más; consulte cómo reducir la energía de las búsquedas de hiperparámetros.
- No guardar puntos de control, de modo que una interrupción obliga a empezar de nuevo.
- No medir. Ponga un medidor como CodeCarbon en el script de entrenamiento.
Para el conjunto completo de herramientas, lea entrenamiento e inferencia eficientes.
Fuentes
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- CodeCarbon, CodeCarbon (2026)
Relacionado
Entrenamiento e inferencia eficientes de la IA
Técnicas para reducir la energía de la IA: poda, dispersión, cuantización, destilación, caché KV, procesamiento por lotes, precisión mixta y planificación.
¿Cómo evito entrenar un modelo desde cero?
Cómo reutilizar modelos existentes en lugar de preentrenar el suyo: ajuste fino, adaptación con LoRA, fusión de modelos ajustados o recuperación de conocimiento.
¿Cómo programo el entrenamiento para cuando la red eléctrica esté más limpia?
Ejecute entrenamientos y trabajos de IA por lotes cuando la intensidad de carbono de la red sea baja: use previsiones, puntos de control y plazos como límites firmes.
¿Cómo mido la huella de carbono de entrenar un modelo?
Mida la energía de un entrenamiento con una herramienta como CodeCarbon, multiplíquela por la intensidad de carbono de la red local e indique hardware, tiempo y ubicación.