En resumen
Parta del modelo más pequeño que pueda alcanzar su nivel de calidad y redúzcalo aún más con destilación, cuantización y poda, probando cada paso en el dispositivo de destino. Mida conjuntamente la energía por inferencia, la latencia y la precisión en el hardware real, y haga que el modelo baje de nivel cuando la batería esté baja o el dispositivo esté caliente.
Pasos
- Fije un nivel de calidad y un presupuesto de memoria, latencia y energía para el dispositivo de destino.
- Parta de un modelo pequeño o destilado en lugar de reducir uno general grande.
- Cuantice los pesos a 8 o 4 bits y compruebe la precisión con sus propios casos de prueba.
- Pode los pesos que aportan poco y vuelva a probar en el dispositivo.
- Mida conjuntamente la energía por inferencia, la latencia y la precisión en el hardware real.
- Cambie a un modelo más pequeño o a una frecuencia menor cuando la batería esté baja o el dispositivo esté caliente.
Combine un modelo de partida pequeño con destilación, cuantización y poda, y juzgue cada paso en el propio dispositivo. Los dispositivos edge tienen poca memoria y a menudo funcionan con baterías, así que un modelo demasiado grande o no cabe o agota el dispositivo y lo ralentiza por calor. Acertar con el tamaño también significa que no hace falta enviar los datos a la nube.
¿Qué técnicas reducen más un modelo?
- La destilación entrena a un «alumno» pequeño para imitar a un «maestro» grande. DistilBERT era un 40% más pequeño que BERT y un 60% más rápido, y conservaba el 97% de su capacidad de comprensión del lenguaje.
- La cuantización guarda los pesos con menos bits. La documentación de Hugging Face pone el ejemplo de un modelo de 8.000 millones de parámetros que necesita unos 16 GB para sus pesos con precisión de 16 bits, unos 8 GB con 8 bits y unos 4–5 GB con 4 bits, con cierto coste en precisión. Consulte cómo cuantizar un modelo.
- La poda elimina los pesos que apenas afectan a la salida. Consulte cómo podar una red neuronal.
¿Cómo debe comportarse el modelo en el dispositivo?
El patrón de IA en el dispositivo de la Green Software Foundation recomienda medir conjuntamente la energía por inferencia, la latencia y la precisión, y adaptarse a las condiciones: un modelo más pequeño o una frecuencia de inferencia menor cuando la batería esté baja o el dispositivo esté caliente.
Errores frecuentes
- Probar solo en un portátil. Los aceleradores, la memoria y los límites térmicos son distintos; mida en el hardware de destino.
- Reducir por debajo del nivel de calidad. Un modelo que falla y tiene que recurrir a la nube como alternativa puede costar más de lo que ahorra.
- Ejecutar la inferencia constantemente. Actívela con eventos cuando pueda, en lugar de en cada fotograma o cada segundo.
Que sea más ecológico el dispositivo o la nube depende del caso: consulte en el dispositivo o en la nube y la IA en el dispositivo.
Fuentes
- Optimize power consumption for edge AI inference, Green Software Foundation, Green Software Patterns (2025)
- Run AI models at the edge, Green Software Foundation, Green Software Patterns (2025)
- Quantization overview, Hugging Face Transformers documentation (2026)
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
Relacionado
¿Cómo cuantizo un modelo?
Cómo cuantizar un modelo de IA a 8 o 4 bits: qué herramientas usar, cómo probar la calidad y cuándo la cuantización ahorra energía y cuándo no.
¿Cómo destilo un modelo grande en uno más pequeño?
Cómo funciona la destilación de conocimiento: use un modelo maestro grande para entrenar un alumno pequeño para su tarea, pruébelo y conserve el grande de reserva.
¿Cómo decido entre ejecutar la IA en mi dispositivo o en la nube?
Cómo sopesar la IA en el dispositivo (edge) frente a la IA en la nube en energía, privacidad y calidad, qué tareas conviene a cada una y los límites de la evidencia.
Borde o nube: ¿dónde debe ejecutarse la IA?
Cómo comparar la IA en el dispositivo y en el borde con los centros de datos: energía, red, hardware, privacidad y resiliencia, con un método paso a paso para decidir.