greenai.guide

Inicio › ¿Cómo puedo…? › ¿Cómo fijo un presupuesto de cómputo para un proyecto de investigación?

¿Cómo puedo…?

¿Cómo fijo un presupuesto de cómputo para un proyecto de investigación?

Actualizado · 1 min de lectura

En resumen

Estime las horas de GPU que necesitan sus experimentos principales, añada un margen para la exploración y controle el uso frente a ese presupuesto como si fuera dinero. Pruebe las ideas a pequeña escala, detenga pronto las ejecuciones malas, reutilice modelos preentrenados y puntos de control, e informe de los resultados en relación con el cómputo que requirieron. Un presupuesto hace visibles las compensaciones y pone fin al ajuste interminable.

Pasos

  1. Estime las horas de GPU de los experimentos principales y añada un margen declarado para la exploración.
  2. Haga pilotos a pequeña escala para descartar ideas antes de ampliar la escala.
  3. Controle las horas de GPU y la energía de cada experimento frente al presupuesto.
  4. Use la parada temprana para las ejecuciones malas en lugar de grandes búsquedas en cuadrícula.
  5. Reutilice modelos preentrenados y puntos de control cuando encajen.
  6. Informe de los resultados en relación con el cómputo, como la precisión por kWh.

Decida de antemano cuánto cómputo puede usar el proyecto, y contrólelo. Sin un presupuesto, las ejecuciones adicionales parecen gratuitas, y nunca se sopesa la energía que cuesta una pequeña mejora de precisión.

¿Cómo estimo el presupuesto?

Parta de los experimentos de su plan: el tamaño del modelo, el tamaño de los datos y el número de ejecuciones dan unas horas de GPU aproximadas. La calculadora Green Algorithms de Lannelongue, Grealey e Inouye convierte el hardware, el tiempo de ejecución, la memoria y la ubicación en una estimación de energía y carbono, lo que le ayuda a ver qué significa el presupuesto. Añada un margen explícito para la exploración en lugar de dejarlo abierto.

¿Qué mantiene un proyecto dentro del presupuesto?

  • Primero, pilotos pequeños. Descarte ideas con modelos pequeños y subconjuntos de datos.
  • Búsquedas eficientes. Detenga pronto las ejecuciones malas; consulte reducir la energía de las búsquedas de hiperparámetros.
  • Reutilización. Parta de modelos preentrenados y puntos de control guardados; consulte evitar entrenar desde cero.
  • Elija dónde y con qué ejecuta. Patterson y sus colegas hallaron que la elección del modelo, el centro de datos y el procesador puede reducir la huella de carbono del entrenamiento hasta unas 100 a 1.000 veces.

Errores frecuentes

  • Presupuestar solo las ejecuciones finales. La exploración suele ser la mayor parte del cómputo.
  • No guardar puntos de control, de modo que un fallo obliga a empezar de nuevo.
  • Informar solo de la mejor precisión, lo que premia gastar más.

Los principios GREENER de Lannelongue y sus colegas ofrecen un marco para grupos e instituciones. Consulte la guía para investigadores.

Fuentes

  1. GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
  2. Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
  3. Carbon emissions and large neural network training, Patterson et al. (2021)

Únase a nosotros

Ayude a reducir el impacto de la IA en el planeta

Reciba por correo electrónico nuevas guías, convocatorias de financiación y fichas de los directorios, aproximadamente una vez al mes. O añada su producto, curso, doctorado o investigación a los directorios.

Sin seguimiento. Cancele la suscripción con un clic. Otras formas de unirse · Privacidad