# Como destilo um modelo grande em um modelo menor?

> Como funciona a destilação: um modelo professor grande treina um aluno pequeno para sua tarefa; depois você o testa e mantém o grande como reserva.

Source: https://greenai.guide/pt/como/como-destilo-um-modelo-grande-em-um-modelo-menor/  
Updated: 2026-11-19

## Em resumo

Primeiro, verifique se já existe uma versão destilada do seu modelo. Se não existir, use o modelo grande, o "professor", para rotular ou gerar exemplos da sua tarefa, treine um modelo pequeno, o "aluno", com eles e teste o aluno com seus próprios casos reais. O DistilBERT, um dos primeiros exemplos, era 40% menor e 60% mais rápido que o BERT e mantinha 97% da sua capacidade de compreensão da linguagem.

## Steps

1. Procure uma versão destilada ou menor do modelo que já sirva para sua tarefa.
2. Reúna um conjunto de entradas reais da sua tarefa.
3. Use o modelo grande para produzir rótulos ou saídas para elas e confira uma amostra à mão.
4. Treine um modelo aluno pequeno com esses dados.
5. Teste o aluno contra o seu padrão de qualidade e encaminhe os casos em que ele tem dúvida para o modelo grande.

**A destilação transfere o que um modelo grande sabe sobre a sua tarefa para um modelo pequeno, que é barato de
executar.** Você paga uma vez pelo treino do aluno e depois economiza em cada requisição.

## Por que isso importa? {#why-does-it-matter}

Um modelo geral grande, usado para uma única tarefa estreita, como classificar chamados ou extrair campos, paga por
um conhecimento que a tarefa nunca usa. Luccioni, Jernite e Strubell concluíram que sistemas específicos para cada
tarefa custam ordens de grandeza menos para executar do que modelos generativos multiuso nas mesmas tarefas. A Green
Software Foundation inclui a destilação entre os seus padrões para modelos de IA de tamanho adequado e eficientes em
energia.

## Como funciona? {#how-does-it-work}

O **professor** é o modelo grande; o **aluno** é um modelo pequeno. No método clássico, o aluno aprende a reproduzir
as probabilidades de saída do professor, e não só as respostas finais, o que traz mais informação por exemplo. O
DistilBERT, de Sanh e colegas, usou esse método para produzir um modelo 40% menor e 60% mais rápido que o BERT, que
manteve 97% da sua capacidade de compreensão da linguagem.

Para modelos generativos, um caminho prático comum é mais simples: peça ao professor que produza respostas para as
suas entradas reais, confira uma amostra e faça o ajuste fino (fine-tuning) de um modelo pequeno com elas.

## Erros comuns {#common-mistakes}

- **Destilar quando já existe um modelo pequeno.** Procure primeiro: veja
  [como encontrar um modelo específico para a tarefa](/pt/como/como-encontro-um-modelo-especifico-para-a-minha-tarefa-em-vez-de-usar/).
- **Confiar cegamente nas saídas do professor.** Os erros do professor viram erros do aluno.
- **Não ter reserva.** Mantenha o modelo grande para os casos em que o aluno tem dúvida, usando
  [roteamento de modelos](/pt/como/como-encaminho-pedidos-para-modelos-menores/).
- **Ignorar a licença.** Os termos de alguns modelos restringem o uso das suas saídas para treinar outros modelos.

Saiba mais em [treino e inferência eficientes](/pt/boas-praticas/treinamento-e-inferencia-de-ia-eficientes/).

## Fontes

- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
- [Green Software Patterns: right-sized, energy-efficient AI models](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/right-sized-energy-efficient-ai-models.md), Green Software Foundation (2025)
- [Power Hungry Processing: Watts Driving the Cost of AI Deployment?](https://arxiv.org/abs/2311.16863), Luccioni, Jernite and Strubell, ACM FAccT (2024)
