greenai.guide

Inicio › ¿Cómo puedo…? › ¿Cómo hago un modelo lo bastante pequeño para un dispositivo edge?

¿Cómo puedo…?

¿Cómo hago un modelo lo bastante pequeño para un dispositivo edge?

Actualizado · 2 min de lectura

En resumen

Parta del modelo más pequeño que pueda alcanzar su nivel de calidad y redúzcalo aún más con destilación, cuantización y poda, probando cada paso en el dispositivo de destino. Mida conjuntamente la energía por inferencia, la latencia y la precisión en el hardware real, y haga que el modelo baje de nivel cuando la batería esté baja o el dispositivo esté caliente.

Pasos

  1. Fije un nivel de calidad y un presupuesto de memoria, latencia y energía para el dispositivo de destino.
  2. Parta de un modelo pequeño o destilado en lugar de reducir uno general grande.
  3. Cuantice los pesos a 8 o 4 bits y compruebe la precisión con sus propios casos de prueba.
  4. Pode los pesos que aportan poco y vuelva a probar en el dispositivo.
  5. Mida conjuntamente la energía por inferencia, la latencia y la precisión en el hardware real.
  6. Cambie a un modelo más pequeño o a una frecuencia menor cuando la batería esté baja o el dispositivo esté caliente.

Combine un modelo de partida pequeño con destilación, cuantización y poda, y juzgue cada paso en el propio dispositivo. Los dispositivos edge tienen poca memoria y a menudo funcionan con baterías, así que un modelo demasiado grande o no cabe o agota el dispositivo y lo ralentiza por calor. Acertar con el tamaño también significa que no hace falta enviar los datos a la nube.

¿Qué técnicas reducen más un modelo?

  • La destilación entrena a un «alumno» pequeño para imitar a un «maestro» grande. DistilBERT era un 40% más pequeño que BERT y un 60% más rápido, y conservaba el 97% de su capacidad de comprensión del lenguaje.
  • La cuantización guarda los pesos con menos bits. La documentación de Hugging Face pone el ejemplo de un modelo de 8.000 millones de parámetros que necesita unos 16 GB para sus pesos con precisión de 16 bits, unos 8 GB con 8 bits y unos 4–5 GB con 4 bits, con cierto coste en precisión. Consulte cómo cuantizar un modelo.
  • La poda elimina los pesos que apenas afectan a la salida. Consulte cómo podar una red neuronal.

¿Cómo debe comportarse el modelo en el dispositivo?

El patrón de IA en el dispositivo de la Green Software Foundation recomienda medir conjuntamente la energía por inferencia, la latencia y la precisión, y adaptarse a las condiciones: un modelo más pequeño o una frecuencia de inferencia menor cuando la batería esté baja o el dispositivo esté caliente.

Errores frecuentes

  • Probar solo en un portátil. Los aceleradores, la memoria y los límites térmicos son distintos; mida en el hardware de destino.
  • Reducir por debajo del nivel de calidad. Un modelo que falla y tiene que recurrir a la nube como alternativa puede costar más de lo que ahorra.
  • Ejecutar la inferencia constantemente. Actívela con eventos cuando pueda, en lugar de en cada fotograma o cada segundo.

Que sea más ecológico el dispositivo o la nube depende del caso: consulte en el dispositivo o en la nube y la IA en el dispositivo.

Fuentes

  1. Optimize power consumption for edge AI inference, Green Software Foundation, Green Software Patterns (2025)
  2. Run AI models at the edge, Green Software Foundation, Green Software Patterns (2025)
  3. Quantization overview, Hugging Face Transformers documentation (2026)
  4. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)

Únase a nosotros

Ayude a reducir el impacto de la IA en el planeta

Reciba por correo electrónico nuevas guías, convocatorias de financiación y fichas de los directorios, aproximadamente una vez al mes. O añada su producto, curso, doctorado o investigación a los directorios.

Sin seguimiento. Cancele la suscripción con un clic. Otras formas de unirse · Privacidad