En resumen
Estime las horas de GPU que necesitan sus experimentos principales, añada un margen para la exploración y controle el uso frente a ese presupuesto como si fuera dinero. Pruebe las ideas a pequeña escala, detenga pronto las ejecuciones malas, reutilice modelos preentrenados y puntos de control, e informe de los resultados en relación con el cómputo que requirieron. Un presupuesto hace visibles las compensaciones y pone fin al ajuste interminable.
Pasos
- Estime las horas de GPU de los experimentos principales y añada un margen declarado para la exploración.
- Haga pilotos a pequeña escala para descartar ideas antes de ampliar la escala.
- Controle las horas de GPU y la energía de cada experimento frente al presupuesto.
- Use la parada temprana para las ejecuciones malas en lugar de grandes búsquedas en cuadrícula.
- Reutilice modelos preentrenados y puntos de control cuando encajen.
- Informe de los resultados en relación con el cómputo, como la precisión por kWh.
Decida de antemano cuánto cómputo puede usar el proyecto, y contrólelo. Sin un presupuesto, las ejecuciones adicionales parecen gratuitas, y nunca se sopesa la energía que cuesta una pequeña mejora de precisión.
¿Cómo estimo el presupuesto?
Parta de los experimentos de su plan: el tamaño del modelo, el tamaño de los datos y el número de ejecuciones dan unas horas de GPU aproximadas. La calculadora Green Algorithms de Lannelongue, Grealey e Inouye convierte el hardware, el tiempo de ejecución, la memoria y la ubicación en una estimación de energía y carbono, lo que le ayuda a ver qué significa el presupuesto. Añada un margen explícito para la exploración en lugar de dejarlo abierto.
¿Qué mantiene un proyecto dentro del presupuesto?
- Primero, pilotos pequeños. Descarte ideas con modelos pequeños y subconjuntos de datos.
- Búsquedas eficientes. Detenga pronto las ejecuciones malas; consulte reducir la energía de las búsquedas de hiperparámetros.
- Reutilización. Parta de modelos preentrenados y puntos de control guardados; consulte evitar entrenar desde cero.
- Elija dónde y con qué ejecuta. Patterson y sus colegas hallaron que la elección del modelo, el centro de datos y el procesador puede reducir la huella de carbono del entrenamiento hasta unas 100 a 1.000 veces.
Errores frecuentes
- Presupuestar solo las ejecuciones finales. La exploración suele ser la mayor parte del cómputo.
- No guardar puntos de control, de modo que un fallo obliga a empezar de nuevo.
- Informar solo de la mejor precisión, lo que premia gastar más.
Los principios GREENER de Lannelongue y sus colegas ofrecen un marco para grupos e instituciones. Consulte la guía para investigadores.
Fuentes
- GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
- Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
- Carbon emissions and large neural network training, Patterson et al. (2021)
Relacionado
¿Cómo reduzco la energía de las búsquedas de hiperparámetros?
Cómo ajustar modelos con menos cómputo: búsquedas más inteligentes que una cuadrícula completa, parada temprana, pilotos pequeños, buenos valores por defecto y un presupuesto.
¿Cómo informo del consumo de energía de mi investigación en IA?
Qué incluir en un artículo sobre cómputo y energía: hardware, horas de GPU de todas las ejecuciones, energía, ubicación, carbono, coste de inferencia y límites usados.
¿Cómo reduzco la huella de los experimentos de IA en un clúster de investigación?
Reduzca la energía de los experimentos de IA en HPC: consulte la energía en Slurm, pida solo lo que usa, haga pilotos, guarde puntos de control y programe trabajos.
IA verde para investigadores
Guía para investigadores sobre métodos de IA eficientes, medición y comunicación de la energía en artículos, presupuestos de cálculo, financiación y matemáticas.