En resumen
Sustituya las grandes búsquedas en cuadrícula por búsquedas aleatorias o adaptativas, detenga pronto las pruebas malas, haga primero pilotos con pocos datos o modelos pequeños, y parta de los valores por defecto publicados para su arquitectura. Registre la energía de cada prueba, no solo de la ganadora, y fije un presupuesto de cómputo antes de empezar. Las ejecuciones de ajuste suelen costar más que el entrenamiento final, y rara vez se declaran.
Pasos
- Fije un presupuesto de cómputo para la búsqueda antes de empezar.
- Parta de los hiperparámetros por defecto publicados para su familia de modelos.
- Use una búsqueda aleatoria o adaptativa en lugar de una cuadrícula completa.
- Detenga pronto las pruebas que sean claramente peores que la mejor hasta el momento.
- Haga un piloto con un subconjunto de datos o un modelo más pequeño antes de ampliar la escala.
- Registre la energía y las emisiones de cada prueba junto con la precisión.
Ajuste con más inteligencia, no con más amplitud. Una cuadrícula completa sobre muchos hiperparámetros multiplica el coste del entrenamiento por el número de combinaciones, y la mayoría de esas ejecuciones se ven claramente peores desde el principio.
¿Por qué importa?
El artículo de 2019 de Strubell, Ganesh y McCallum cuantificó el coste de desarrollar modelos de lenguaje, incluida la experimentación en torno a ellos, no solo un único entrenamiento final. El artículo «Green AI» de Schwartz y sus colegas sostuvo que los investigadores deberían informar del coste computacional de sus resultados, incluidos los experimentos necesarios para llegar a ellos, de modo que la eficiencia se valore junto con la precisión.
¿Qué marca la mayor diferencia?
- Parada temprana de las pruebas malas. Los métodos del tipo de reducción sucesiva a la mitad (successive halving) dan a cada prueba un presupuesto pequeño y continúan solo con las prometedoras. La mayoría de las bibliotecas de ajuste lo admiten.
- Búsqueda aleatoria o adaptativa. En lugar de ejecutar todas las combinaciones, muestree ajustes al azar o deje que un método adaptativo use los resultados anteriores para elegir la siguiente prueba.
- Pilotos pequeños. Descarte ideas con un subconjunto de datos o un modelo más pequeño.
- Primero los valores por defecto. Los valores por defecto bien probados para arquitecturas comunes suelen estar cerca del óptimo.
- Registre cada prueba. La documentación de CodeCarbon muestra cómo registrar cada configuración y comparar la precisión con las emisiones.
Errores frecuentes
- Informar solo de la mejor ejecución. Incluya todas las pruebas en su total de cómputo; consulte cómo informar del consumo de energía de su investigación.
- Ajustar con el conjunto de datos completo desde el primer día.
- No tener presupuesto. Sin él, las búsquedas se expanden hasta llenar el clúster. Consulte cómo fijar un presupuesto de cómputo.
Para más información, lea la guía para investigadores.
Fuentes
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- Green AI, Schwartz, Dodge, Smith and Etzioni, Communications of the ACM (2020)
- Comparing model efficiency with carbon tracking, CodeCarbon documentation (2025)
Relacionado
¿Cómo fijo un presupuesto de cómputo para un proyecto de investigación?
Fije y controle un presupuesto de cómputo para la investigación en IA: estime horas de GPU, haga pilotos, pare pronto las malas ejecuciones, reutilice y declare el cómputo.
¿Cómo reduzco la energía de entrenar un modelo?
Las palancas para reducir la energía del entrenamiento: partir de un preentrenado, ajustar el tamaño, precisión mixta, parada temprana, lugar y hora limpios.
¿Cómo informo del consumo de energía de mi investigación en IA?
Qué incluir en un artículo sobre cómputo y energía: hardware, horas de GPU de todas las ejecuciones, energía, ubicación, carbono, coste de inferencia y límites usados.
IA verde para investigadores
Guía para investigadores sobre métodos de IA eficientes, medición y comunicación de la energía en artículos, presupuestos de cálculo, financiación y matemáticas.