greenai.guide

Inicio › ¿Cómo puedo…? › ¿Cómo reduzco la energía de entrenar un modelo?

¿Cómo puedo…?

¿Cómo reduzco la energía de entrenar un modelo?

Actualizado · 1 min de lectura

En resumen

Parta de un modelo preentrenado cuando pueda, elija la arquitectura más pequeña que pueda alcanzar su nivel, entrene con precisión mixta, pare cuando la validación deje de mejorar y ejecute en hardware eficiente, en una región y a una hora con bajas emisiones. Patterson y sus colegas hallaron que la elección del modelo, el centro de datos y el procesador puede reducir la huella de carbono del entrenamiento hasta unas 100 a 1.000 veces. Mida cada ejecución para que las compensaciones entre opciones sean visibles.

Pasos

  1. Compruebe si puede hacer el ajuste fino de un modelo preentrenado en lugar de entrenar desde cero.
  2. Pruebe las ideas a pequeña escala antes de lanzar una ejecución completa.
  3. Entrene con precisión mixta y pare pronto cuando la validación deje de mejorar.
  4. Ejecute en aceleradores eficientes en una región con bajas emisiones, y programe las ejecuciones flexibles para las horas más limpias.
  5. Guarde puntos de control para que las ejecuciones puedan pausarse, reanudarse y no empezar de nuevo.
  6. Registre la energía y las emisiones de cada ejecución, incluidas las fallidas.

La energía del entrenamiento depende sobre todo de las decisiones que se toman antes de que empiece la ejecución. Qué entrena, con qué, dónde y cuándo importa más que cualquier ajuste durante la ejecución.

¿Por qué importa?

El artículo de 2019 de Strubell, Ganesh y McCallum cuantificó el coste económico y ambiental de entrenar modelos de lenguaje y propuso formas de reducirlo. Patterson y sus colegas hallaron después que la elección de la arquitectura del modelo, el centro de datos y el procesador puede reducir la huella de carbono del entrenamiento hasta unas 100 a 1.000 veces.

¿Qué marca la mayor diferencia?

  1. No entrenar desde cero. El ajuste fino de un modelo preentrenado, o de un adaptador sobre él, suele costar una fracción minúscula del preentrenamiento. Consulte cómo evitar entrenar desde cero.
  2. Ajustar el tamaño. Una arquitectura más pequeña que alcanza el nivel es mejor que una grande que lo supera.
  3. Precisión mixta. Entrenar en media precisión con una copia maestra de precisión completa redujo casi a la mitad el uso de memoria en el trabajo de Micikevicius y sus colegas, lo que permite lotes mayores en el mismo hardware.
  4. Parada temprana. Termine las ejecuciones cuando la pérdida de validación se estanque.
  5. Dónde y cuándo. Elija aceleradores eficientes y una región con bajas emisiones, y ejecute los trabajos flexibles cuando la red esté más limpia: consulte cómo programar el entrenamiento.

Errores frecuentes

  • Contar solo la ejecución final. El ajuste y las ejecuciones fallidas suelen costar más; consulte cómo reducir la energía de las búsquedas de hiperparámetros.
  • No guardar puntos de control, de modo que una interrupción obliga a empezar de nuevo.
  • No medir. Ponga un medidor como CodeCarbon en el script de entrenamiento.

Para el conjunto completo de herramientas, lea entrenamiento e inferencia eficientes.

Fuentes

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
  3. Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
  4. CodeCarbon, CodeCarbon (2026)

Únase a nosotros

Ayude a reducir el impacto de la IA en el planeta

Reciba por correo electrónico nuevas guías, convocatorias de financiación y fichas de los directorios, aproximadamente una vez al mes. O añada su producto, curso, doctorado o investigación a los directorios.

Sin seguimiento. Cancele la suscripción con un clic. Otras formas de unirse · Privacidad