# ¿Cómo destilo un modelo grande en uno más pequeño?

> Cómo funciona la destilación de conocimiento: use un modelo maestro grande para entrenar un alumno pequeño para su tarea, pruébelo y conserve el grande de reserva.

Source: https://greenai.guide/es/como/como-destilo-un-modelo-grande-en-uno-mas-pequeno/  
Updated: 2026-11-19

## En resumen

Compruebe primero si ya existe una versión destilada de su modelo. Si no, use el modelo «maestro» grande para etiquetar o generar ejemplos de su tarea, entrene con ellos un modelo «alumno» pequeño y pruebe el alumno con sus propios casos reales. DistilBERT, uno de los primeros ejemplos, era un 40% más pequeño y un 60% más rápido que BERT y conservaba el 97% de su capacidad de comprensión del lenguaje.

## Steps

1. Busque una versión destilada o más pequeña del modelo para su tarea.
2. Reúna un conjunto de entradas reales de su tarea.
3. Use el modelo grande para producir etiquetas o salidas para ellas, y revise una muestra a mano.
4. Entrene con esos datos un modelo alumno pequeño.
5. Pruebe el alumno frente a su nivel de calidad y envíe sus casos dudosos al modelo grande.

**La destilación traslada lo que un modelo grande sabe sobre su tarea a un modelo pequeño que es barato de
ejecutar.** Paga una vez por entrenar al alumno y luego ahorra en cada solicitud.

## ¿Por qué importa? {#why-does-it-matter}

Un gran modelo general desplegado para un único trabajo acotado, como clasificar incidencias o extraer campos, paga
por un conocimiento que ese trabajo nunca usa. Luccioni, Jernite y Strubell hallaron que los sistemas específicos
eran órdenes de magnitud más baratos de ejecutar que los modelos generativos multiuso para las mismas tareas. La
Green Software Foundation incluye la destilación entre sus patrones para modelos de IA de tamaño adecuado y
energéticamente eficientes.

## ¿Cómo funciona? {#how-does-it-work}

El **maestro** es el modelo grande; el **alumno**, uno pequeño. En el método clásico, el alumno aprende a reproducir
las probabilidades de salida del maestro, no solo sus respuestas finales, lo que aporta más información por ejemplo.
DistilBERT, de Sanh y sus colegas, lo usó para producir un modelo un 40% más pequeño y un 60% más rápido que BERT que
conservaba el 97% de su capacidad de comprensión del lenguaje.

En los modelos generativos, una vía práctica habitual es más sencilla: haga que el maestro produzca respuestas para
sus entradas reales, revise una muestra y haga el ajuste fino de un modelo pequeño con ellas.

## Errores frecuentes {#common-mistakes}

- **Destilar cuando ya existe un modelo pequeño.** Busque primero: consulte
  [cómo encontrar un modelo específico para una tarea](/es/como/como-encuentro-un-modelo-especifico-para-una-tarea-en-lugar-de-usar/).
- **Confiar ciegamente en las salidas del maestro.** Los errores del maestro se convierten en errores del alumno.
- **No tener alternativa.** Conserve el modelo grande para los casos en que el alumno tenga dudas, usando el
  [enrutamiento de modelos](/es/como/como-enruto-las-solicitudes-a-modelos-mas-pequenos/).
- **Ignorar la licencia.** Las condiciones de algunos modelos restringen el uso de sus salidas para entrenar otros
  modelos.

Lea más en [entrenamiento e inferencia eficientes](/es/buenas-practicas/entrenamiento-e-inferencia-eficientes-de-la-ia/).

## Fuentes

- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
- [Green Software Patterns: right-sized, energy-efficient AI models](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/right-sized-energy-efficient-ai-models.md), Green Software Foundation (2025)
- [Power Hungry Processing: Watts Driving the Cost of AI Deployment?](https://arxiv.org/abs/2311.16863), Luccioni, Jernite and Strubell, ACM FAccT (2024)
