greenai.guide

Inicio › ¿Cómo puedo…? › ¿Cómo destilo un modelo grande en uno más pequeño?

¿Cómo puedo…?

¿Cómo destilo un modelo grande en uno más pequeño?

Actualizado · 1 min de lectura

En resumen

Compruebe primero si ya existe una versión destilada de su modelo. Si no, use el modelo «maestro» grande para etiquetar o generar ejemplos de su tarea, entrene con ellos un modelo «alumno» pequeño y pruebe el alumno con sus propios casos reales. DistilBERT, uno de los primeros ejemplos, era un 40% más pequeño y un 60% más rápido que BERT y conservaba el 97% de su capacidad de comprensión del lenguaje.

Pasos

  1. Busque una versión destilada o más pequeña del modelo para su tarea.
  2. Reúna un conjunto de entradas reales de su tarea.
  3. Use el modelo grande para producir etiquetas o salidas para ellas, y revise una muestra a mano.
  4. Entrene con esos datos un modelo alumno pequeño.
  5. Pruebe el alumno frente a su nivel de calidad y envíe sus casos dudosos al modelo grande.

La destilación traslada lo que un modelo grande sabe sobre su tarea a un modelo pequeño que es barato de ejecutar. Paga una vez por entrenar al alumno y luego ahorra en cada solicitud.

¿Por qué importa?

Un gran modelo general desplegado para un único trabajo acotado, como clasificar incidencias o extraer campos, paga por un conocimiento que ese trabajo nunca usa. Luccioni, Jernite y Strubell hallaron que los sistemas específicos eran órdenes de magnitud más baratos de ejecutar que los modelos generativos multiuso para las mismas tareas. La Green Software Foundation incluye la destilación entre sus patrones para modelos de IA de tamaño adecuado y energéticamente eficientes.

¿Cómo funciona?

El maestro es el modelo grande; el alumno, uno pequeño. En el método clásico, el alumno aprende a reproducir las probabilidades de salida del maestro, no solo sus respuestas finales, lo que aporta más información por ejemplo. DistilBERT, de Sanh y sus colegas, lo usó para producir un modelo un 40% más pequeño y un 60% más rápido que BERT que conservaba el 97% de su capacidad de comprensión del lenguaje.

En los modelos generativos, una vía práctica habitual es más sencilla: haga que el maestro produzca respuestas para sus entradas reales, revise una muestra y haga el ajuste fino de un modelo pequeño con ellas.

Errores frecuentes

  • Destilar cuando ya existe un modelo pequeño. Busque primero: consulte cómo encontrar un modelo específico para una tarea.
  • Confiar ciegamente en las salidas del maestro. Los errores del maestro se convierten en errores del alumno.
  • No tener alternativa. Conserve el modelo grande para los casos en que el alumno tenga dudas, usando el enrutamiento de modelos.
  • Ignorar la licencia. Las condiciones de algunos modelos restringen el uso de sus salidas para entrenar otros modelos.

Lea más en entrenamiento e inferencia eficientes.

Fuentes

  1. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
  2. Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
  3. Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)

Únase a nosotros

Ayude a reducir el impacto de la IA en el planeta

Reciba por correo electrónico nuevas guías, convocatorias de financiación y fichas de los directorios, aproximadamente una vez al mes. O añada su producto, curso, doctorado o investigación a los directorios.

Sin seguimiento. Cancele la suscripción con un clic. Otras formas de unirse · Privacidad