En resumen
Pode una red entrenada eliminando los pesos, las neuronas o las capas que menos aportan, haga después un breve ajuste fino para que se recupere y pruébela frente a su nivel de calidad. La poda redujo nueve veces los parámetros de AlexNet sin pérdida de precisión, y se han podado modelos de lenguaje muy grandes hasta al menos un 50% de dispersión de una sola vez. Prefiera la poda estructurada si quiere que el hardware corriente funcione más rápido.
Pasos
- Mida primero la precisión, la latencia y la energía del modelo sin podar.
- Elija la poda estructurada (neuronas, cabezas o capas enteras) a menos que su hardware aproveche los pesos dispersos.
- Elimine una parte moderada de los pesos según su importancia, por ejemplo los de menor magnitud.
- Haga un breve ajuste fino para que la red se recupere.
- Repita por pasos, probando cada vez, y pare cuando la calidad caiga por debajo de su nivel.
Las redes grandes suelen tener muchos más pesos de los que necesita su tarea, así que muchos pueden eliminarse después del entrenamiento. La poda hace el modelo más pequeño y, con el hardware adecuado, más barato de ejecutar.
¿Qué muestra la evidencia?
Han y sus colegas demostraron en 2015 que la poda reducía nueve veces los parámetros del modelo de imagen AlexNet y trece veces los de VGG-16, sin pérdida de precisión. La hipótesis del billete de lotería de Frankle y Carbin halló que las redes grandes contienen subredes mucho más pequeñas capaces de igualar la precisión de la red completa. En los modelos de lenguaje, SparseGPT, de Frantar y Alistarh, podó modelos muy grandes hasta al menos un 50% de dispersión de una sola vez, sin reentrenar, con un aumento pequeño de la perplejidad.
¿Estructurada o no estructurada?
- La poda no estructurada elimina pesos individuales. Puede eliminar más, pero deja ceros dispersos que las GPU y CPU corrientes a menudo no pueden saltarse.
- La poda estructurada elimina neuronas, cabezas de atención, canales o capas enteras. Elimina menos, pero el modelo más pequeño funciona más rápido en cualquier hardware.
Errores frecuentes
- Contar ceros en lugar de medir la energía. El ahorro teórico suele superar al medido. Un sandpit británico de IA verde celebrado en 2026, con matemáticos, informáticos y representantes de la industria, señaló que la dispersión sigue infrautilizada en parte porque a los chips convencionales les cuesta aprovecharla.
- Podar demasiado de una vez. Avance por pasos y haga un ajuste fino entre ellos.
- Probar solo con pruebas de referencia. Compruebe sus propios casos, incluidos los poco frecuentes, que son los primeros que la poda puede perjudicar.
La revisión de 2021 de Hoefler y sus colegas, sobre más de 300 artículos, es la guía de referencia. Para la teoría, lea matemáticas para una IA eficiente.
Fuentes
- Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
- SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
- Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
Relacionado
Las matemáticas que hacen la IA más eficiente
Poda, dispersión, sketching, teoría de matrices aleatorias y modelos informados por la física: cómo las matemáticas reducen el cómputo y la energía de la IA.
¿Cómo cuantizo un modelo?
Cómo cuantizar un modelo de IA a 8 o 4 bits: qué herramientas usar, cómo probar la calidad y cuándo la cuantización ahorra energía y cuándo no.
¿Cómo destilo un modelo grande en uno más pequeño?
Cómo funciona la destilación de conocimiento: use un modelo maestro grande para entrenar un alumno pequeño para su tarea, pruébelo y conserve el grande de reserva.
Entrenamiento e inferencia eficientes de la IA
Técnicas para reducir la energía de la IA: poda, dispersión, cuantización, destilación, caché KV, procesamiento por lotes, precisión mixta y planificación.