greenai.guide

Inicio › Artículos › Las matemáticas que hacen la IA más eficiente

Artículo

Las matemáticas que hacen la IA más eficiente

Actualizado · 7 min de lectura

En resumen

Gran parte de la energía que usa la IA se destina a cómputo y movimiento de datos que la tarea no necesita. Métodos matemáticos como la poda, la dispersión, el sketching aleatorizado, la teoría de matrices aleatorias y los modelos con estructura incorporada eliminan esa redundancia, a menudo con poca o ninguna pérdida de precisión. Solo ahorran energía cuando el ahorro se mide y no se gasta sin más en modelos más grandes.

Puntos clave

  • Las grandes redes neuronales están sobreparametrizadas; la poda puede eliminar la mayoría de sus pesos después del entrenamiento con poca pérdida de precisión.
  • La dispersión solo ahorra energía cuando el hardware y el software pueden saltarse los ceros; si no, es un ahorro solo sobre el papel.
  • Mover datos suele costar más energía que la aritmética, así que importan los métodos que reducen el tráfico de memoria, como el sketching y la atención consciente de la E/S.
  • Incorporar a un modelo la física o las simetrías conocidas puede reducir los parámetros y los datos que necesita.
  • Los métodos numéricos clásicos son a veces la respuesta más verde, y un flujo híbrido puede usar una red pequeña solo donde ayuda.

La mayor parte de la energía que usa una red neuronal se destina a dos cosas: la aritmética y el movimiento de números entre la memoria y el procesador. Las matemáticas pueden reducir ambas. Este artículo explica los principales métodos en términos sencillos, con los artículos publicados que los respaldan, y dónde deja de compensar cada uno.

Un sandpit británico de IA verde celebrado en 2026, con matemáticos, informáticos y representantes de la industria, situó esta pregunta en el centro: ¿cómo pueden las ciencias matemáticas reducir la energía y los recursos que necesita la IA a medida que crece la demanda? Los métodos que siguen son los que surgieron con más frecuencia, contrastados con los datos publicados.

¿Por qué hay redundancia que eliminar?

Los modelos grandes son más grandes de lo que la tarea estrictamente necesita, porque el tamaño facilita su entrenamiento. El entrenamiento funciona mejor en un espacio de muchas dimensiones, pero una vez terminado, muchos de los pesos aportan poco.

Eso deja margen para tres tipos de ahorro: menos pesos (poda), menos valores activos en cada momento (dispersión) y menos movimiento de datos (sketching y algoritmos conscientes de la memoria). Un cuarto tipo evita la redundancia desde el principio, incorporando al modelo una estructura conocida.

¿Qué es la poda y cuánto puede eliminar?

La poda elimina los pesos que menos contribuyen y luego deja que la red se recupere. Han y sus colegas demostraron en 2015 que la poda reducía los parámetros del modelo de imagen AlexNet en un factor de nueve y los de VGG-16 en un factor de trece, sin pérdida de precisión.

Trabajos posteriores afinaron la idea:

  • La hipótesis del billete de lotería (Frankle y Carbin, 2019) halló que las redes grandes contienen subredes mucho más pequeñas que, entrenadas desde el punto de partida adecuado, igualan la precisión de la red completa.
  • SparseGPT (Frantar y Alistarh, 2023) podó modelos de lenguaje muy grandes hasta al menos un 50 % de dispersión de una sola vez, sin reentrenamiento, con un aumento pequeño de la perplejidad.
  • La revisión de Hoefler y sus colegas de 2021, que abarca más de 300 artículos, es la guía de referencia sobre cuándo funciona la poda y cuándo no.

¿Ahorra realmente energía la dispersión?

Solo si se saltan los ceros. Una matriz con un 80 % de ceros sigue costando lo mismo si el hardware multiplica cada elemento. Conviene distinguir entre la dispersión no estructurada (ceros repartidos en cualquier lugar) y la dispersión estructurada (bloques, canales o patrones completos de ceros), que los chips estándar pueden aprovechar con mucha más facilidad.

Hay dos lugares donde encontrar dispersión:

  • En los pesos, mediante la poda.
  • En las activaciones, los valores que recorren la red para una entrada determinada. Kurtz y sus colegas (2020) demostraron que elevar el umbral de la función de activación ReLU hace que muchas más activaciones sean exactamente cero, lo que permite saltárselas en la inferencia. Mirzadeh y sus colegas (2024) sostuvieron que los grandes modelos de lenguaje con activaciones ReLU pueden aprovechar el mismo efecto para reducir el cómputo.

La dispersión de las activaciones es dinámica: qué valores son cero cambia con cada entrada. Eso hace más difícil aprovecharla en el hardware, y es una de las razones por las que el sandpit trató el codiseño de hardware y software como parte de las matemáticas, no como algo secundario.

¿Por qué importa tanto el movimiento de datos?

Traer un número de la memoria puede costar más energía que operar con él. Los algoritmos que mueven menos datos a menudo ahorran más que los que hacen menos operaciones.

Dos familias de métodos abordan este problema:

  • Sketching aleatorizado. Un sketch es una proyección aleatoria, mucho más pequeña, de una matriz grande que conserva las propiedades que se necesitan. El artículo de Halko, Martinsson y Tropp de 2011 y la revisión de Martinsson y Tropp de 2020 exponen la teoría del álgebra lineal numérica aleatorizada, que ofrece cotas de error demostrables para estas aproximaciones. Aplicados a redes neuronales, los sketches pueden comprimir grandes resultados intermedios antes de sacarlos del chip.
  • Algoritmos conscientes de la E/S. FlashAttention (Dao y sus colegas, 2022) calcula exactamente el mismo resultado de atención que el método estándar, pero reorganiza el trabajo para reducir las lecturas y escrituras entre la memoria grande y lenta de una GPU y su memoria pequeña y rápida. El ahorro procede de la planificación, no de la aproximación.

¿Qué aporta la teoría de matrices aleatorias?

La teoría de matrices aleatorias describe cómo se comportan las matrices aleatorias grandes, que es lo que son los pesos de una red neuronal al comienzo del entrenamiento. Eso permite a los matemáticos predecir propiedades de una red antes de entrenarla.

Pennington y Worah (2017) la usaron para analizar cómo pasan las señales por redes anchas. Martin y Mahoney (2021) estudiaron los espectros de las matrices de pesos entrenadas y hallaron patrones que indican lo bien que ha aprendido una capa. Este tipo de resultados ayuda a fijar los niveles de dispersión y a diagnosticar capas más grandes de lo necesario, sin el ensayo y error de entrenar muchas variantes.

¿Puede la estructura sustituir a los datos y los parámetros?

Sí, cuando la estructura se conoce. Si un problema obedece una ley física o una simetría, un modelo que tiene ese conocimiento incorporado no necesita aprenderlo de los datos.

  • Las redes neuronales informadas por la física (Raissi, Perdikaris y Karniadakis, 2019) añaden las ecuaciones que rigen el problema al objetivo de entrenamiento, de modo que la red se penaliza por dar respuestas físicamente imposibles.
  • El aprendizaje profundo geométrico (Bronstein y sus colegas, 2021) diseña redes que respetan simetrías como la rotación o la permutación, por lo que necesitan menos parámetros y ejemplos.
  • El desenrollado de algoritmos (Monga, Li y Eldar, 2021) convierte los pasos de un algoritmo iterativo clásico en las capas de una red, lo que da lugar a modelos pequeños e interpretables.

Una idea relacionada surgió repetidamente en el sandpit: los flujos híbridos. Mantener el método clásico o basado en la física para los pasos que hace bien y usar una red pequeña solo para la parte que se presta al aprendizaje, como un modelo sustituto de un componente costoso de una simulación. A veces la respuesta más verde es un método numérico existente y ninguna red neuronal.

¿Dónde encajan la diferenciación automática y la cuantización?

La diferenciación automática (AD) calcula derivadas exactas de un programa y es el motor del entrenamiento. La retropropagación es AD en modo inverso, como explica la revisión de Baydin y sus colegas de 2018. Una AD eficiente importa por sí misma para la IA verde, y es lo que hace posibles técnicas como el entrenamiento consciente de la poda y las penalizaciones diferenciables de energía.

La cuantización almacena los números con menos bits, por ejemplo enteros de 8 bits en lugar de coma flotante de 32 bits. Jacob y sus colegas (2018) mostraron cómo entrenar redes para una inferencia solo con enteros, lo que reduce la memoria y la energía por operación. Menos bits también significa menos datos que mover.

¿Podemos reutilizar modelos en lugar de entrenar otros nuevos?

A menudo, sí. Wortsman y sus colegas (2022) demostraron que promediar los pesos de varias versiones ajustadas de un mismo modelo, una «sopa de modelos», puede mejorar la precisión sin ningún coste adicional en la inferencia. Fusionar y adaptar modelos existentes evita repetir el coste de entrenar desde cero. Orquestar en lugar de generar lleva más lejos esta misma idea de reutilización.

¿Cuáles son los límites?

Las mejoras de eficiencia son reales, pero no son automáticamente ahorros. Hay tres salvedades que se aplican a todos los métodos anteriores:

  • Un ahorro sobre el papel (menos parámetros, menos operaciones) debe confirmarse midiendo la energía en hardware real. Consulte cómo medir la energía de la IA.
  • La precisión debe comprobarse en la tarea real, no solo en una media de pruebas de referencia.
  • El cómputo más barato tiende a usarse para más cómputo. La eficiencia no es suficiencia explica este efecto rebote.

Qué hacer a continuación

  • Si entrena o ajusta modelos, pruebe primero la poda y la cuantización posteriores al entrenamiento: son las mejoras más baratas. Consulte entrenamiento e inferencia eficientes.
  • Compruebe si su hardware y sus bibliotecas aprovechan realmente la dispersión antes de contar con ella.
  • Antes de recurrir a una red neuronal, pregúntese si un método clásico, o uno híbrido, ya resuelve el problema.
  • Mida la energía antes y después de cualquier cambio, en el hardware que vaya a usar.
  • Investigadores: busquen proyectos financiados y doctorados en IA eficiente en los listados de investigación y doctorados, y consulten la guía para investigadores.

Preguntas frecuentes

¿Qué es la poda en la IA?

La poda elimina de una red neuronal entrenada los pesos o las neuronas completas que apenas contribuyen a su resultado. La red más pequeña necesita menos memoria y, en el hardware adecuado, menos cómputo y energía.

¿Un modelo disperso usa siempre menos energía?

No. Un modelo lleno de ceros solo ahorra energía si el hardware y el software se los saltan. La dispersión no estructurada en una GPU estándar puede no ser más rápida que el modelo denso, y por eso importan la dispersión estructurada y los núcleos de cálculo dispersos.

¿Qué es una red neuronal informada por la física?

Una red neuronal entrenada para respetar leyes físicas conocidas, normalmente añadiendo las ecuaciones que rigen el problema a su función de pérdida. Incorporar ese conocimiento hace que la red necesite menos datos para aprender una solución útil.

¿Pueden las matemáticas marcar realmente la diferencia frente a mejores chips?

Sí, y ambas cosas se combinan. Los mejores algoritmos reducen el trabajo que hay que hacer; el mejor hardware hace ese trabajo de forma más barata. Varios de los mayores ahorros en IA, como la cuantización y la atención eficiente, procedieron de las matemáticas y los algoritmos, no de chips nuevos.

Fuentes

  1. Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
  2. The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
  3. Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
  4. SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
  5. Inducing and exploiting activation sparsity for fast inference on deep neural networks, Kurtz et al., ICML (2020)
  6. ReLU strikes back: exploiting activation sparsity in large language models, Mirzadeh et al., ICLR (2024)
  7. Finding structure with randomness: probabilistic algorithms for constructing approximate matrix decompositions, Halko, Martinsson and Tropp, SIAM Review (2011)
  8. Randomized numerical linear algebra: foundations and algorithms, Martinsson and Tropp, Acta Numerica (2020)
  9. FlashAttention: fast and memory-efficient exact attention with IO-awareness, Dao, Fu, Ermon, Rudra and Ré, NeurIPS (2022)
  10. Implicit self-regularization in deep neural networks: evidence from random matrix theory and implications for learning, Martin and Mahoney, Journal of Machine Learning Research (2021)
  11. Nonlinear random matrix theory for deep learning, Pennington and Worah, NeurIPS (2017)
  12. Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations, Raissi, Perdikaris and Karniadakis, Journal of Computational Physics (2019)
  13. Geometric deep learning: grids, groups, graphs, geodesics, and gauges, Bronstein, Bruna, Cohen and Veličković (2021)
  14. Algorithm unrolling: interpretable, efficient deep learning for signal and image processing, Monga, Li and Eldar, IEEE Signal Processing Magazine (2021)
  15. Automatic differentiation in machine learning: a survey, Baydin, Pearlmutter, Radul and Siskind, Journal of Machine Learning Research (2018)
  16. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
  17. Quantization and training of neural networks for efficient integer-arithmetic-only inference, Jacob et al., CVPR (2018)

Únase a nosotros

Ayude a reducir el impacto de la IA en el planeta

Reciba por correo electrónico nuevas guías, convocatorias de financiación y fichas de los directorios, aproximadamente una vez al mes. O añada su producto, curso, doctorado o investigación a los directorios.

Sin seguimiento. Cancele la suscripción con un clic. Otras formas de unirse · Privacidad