En resumen
Compruebe primero si ya existe una versión destilada de su modelo. Si no, use el modelo «maestro» grande para etiquetar o generar ejemplos de su tarea, entrene con ellos un modelo «alumno» pequeño y pruebe el alumno con sus propios casos reales. DistilBERT, uno de los primeros ejemplos, era un 40% más pequeño y un 60% más rápido que BERT y conservaba el 97% de su capacidad de comprensión del lenguaje.
Pasos
- Busque una versión destilada o más pequeña del modelo para su tarea.
- Reúna un conjunto de entradas reales de su tarea.
- Use el modelo grande para producir etiquetas o salidas para ellas, y revise una muestra a mano.
- Entrene con esos datos un modelo alumno pequeño.
- Pruebe el alumno frente a su nivel de calidad y envíe sus casos dudosos al modelo grande.
La destilación traslada lo que un modelo grande sabe sobre su tarea a un modelo pequeño que es barato de ejecutar. Paga una vez por entrenar al alumno y luego ahorra en cada solicitud.
¿Por qué importa?
Un gran modelo general desplegado para un único trabajo acotado, como clasificar incidencias o extraer campos, paga por un conocimiento que ese trabajo nunca usa. Luccioni, Jernite y Strubell hallaron que los sistemas específicos eran órdenes de magnitud más baratos de ejecutar que los modelos generativos multiuso para las mismas tareas. La Green Software Foundation incluye la destilación entre sus patrones para modelos de IA de tamaño adecuado y energéticamente eficientes.
¿Cómo funciona?
El maestro es el modelo grande; el alumno, uno pequeño. En el método clásico, el alumno aprende a reproducir las probabilidades de salida del maestro, no solo sus respuestas finales, lo que aporta más información por ejemplo. DistilBERT, de Sanh y sus colegas, lo usó para producir un modelo un 40% más pequeño y un 60% más rápido que BERT que conservaba el 97% de su capacidad de comprensión del lenguaje.
En los modelos generativos, una vía práctica habitual es más sencilla: haga que el maestro produzca respuestas para sus entradas reales, revise una muestra y haga el ajuste fino de un modelo pequeño con ellas.
Errores frecuentes
- Destilar cuando ya existe un modelo pequeño. Busque primero: consulte cómo encontrar un modelo específico para una tarea.
- Confiar ciegamente en las salidas del maestro. Los errores del maestro se convierten en errores del alumno.
- No tener alternativa. Conserve el modelo grande para los casos en que el alumno tenga dudas, usando el enrutamiento de modelos.
- Ignorar la licencia. Las condiciones de algunos modelos restringen el uso de sus salidas para entrenar otros modelos.
Lea más en entrenamiento e inferencia eficientes.
Fuentes
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
- Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
Relacionado
¿Cómo encuentro un modelo específico para una tarea en lugar de usar un chatbot general?
Cómo encontrar un modelo pequeño creado para un solo trabajo, como clasificar, extraer o traducir, y comprobar que iguala a un chatbot general con menos energía.
¿Cómo enruto las solicitudes a modelos más pequeños?
Cómo enviar las solicitudes rutinarias a un modelo pequeño y solo las difíciles a uno grande, y cómo ajustar el enrutador para que los reintentos no se coman el ahorro.
¿Cómo podo una red neuronal?
Cómo podar una red neuronal entrenada para eliminar los pesos que aportan poco, comprobar cuánta precisión se conserva y verificar que el hardware ahorra de verdad.
Entrenamiento e inferencia eficientes de la IA
Técnicas para reducir la energía de la IA: poda, dispersión, cuantización, destilación, caché KV, procesamiento por lotes, precisión mixta y planificación.