Em resumo
Primeiro, verifique se já existe uma versão destilada do seu modelo. Se não existir, use o modelo grande, o "professor", para rotular ou gerar exemplos da sua tarefa, treine um modelo pequeno, o "aluno", com eles e teste o aluno com seus próprios casos reais. O DistilBERT, um dos primeiros exemplos, era 40% menor e 60% mais rápido que o BERT e mantinha 97% da sua capacidade de compreensão da linguagem.
Passos
- Procure uma versão destilada ou menor do modelo que já sirva para sua tarefa.
- Reúna um conjunto de entradas reais da sua tarefa.
- Use o modelo grande para produzir rótulos ou saídas para elas e confira uma amostra à mão.
- Treine um modelo aluno pequeno com esses dados.
- Teste o aluno contra o seu padrão de qualidade e encaminhe os casos em que ele tem dúvida para o modelo grande.
A destilação transfere o que um modelo grande sabe sobre a sua tarefa para um modelo pequeno, que é barato de executar. Você paga uma vez pelo treino do aluno e depois economiza em cada requisição.
Por que isso importa?
Um modelo geral grande, usado para uma única tarefa estreita, como classificar chamados ou extrair campos, paga por um conhecimento que a tarefa nunca usa. Luccioni, Jernite e Strubell concluíram que sistemas específicos para cada tarefa custam ordens de grandeza menos para executar do que modelos generativos multiuso nas mesmas tarefas. A Green Software Foundation inclui a destilação entre os seus padrões para modelos de IA de tamanho adequado e eficientes em energia.
Como funciona?
O professor é o modelo grande; o aluno é um modelo pequeno. No método clássico, o aluno aprende a reproduzir as probabilidades de saída do professor, e não só as respostas finais, o que traz mais informação por exemplo. O DistilBERT, de Sanh e colegas, usou esse método para produzir um modelo 40% menor e 60% mais rápido que o BERT, que manteve 97% da sua capacidade de compreensão da linguagem.
Para modelos generativos, um caminho prático comum é mais simples: peça ao professor que produza respostas para as suas entradas reais, confira uma amostra e faça o ajuste fino (fine-tuning) de um modelo pequeno com elas.
Erros comuns
- Destilar quando já existe um modelo pequeno. Procure primeiro: veja como encontrar um modelo específico para a tarefa.
- Confiar cegamente nas saídas do professor. Os erros do professor viram erros do aluno.
- Não ter reserva. Mantenha o modelo grande para os casos em que o aluno tem dúvida, usando roteamento de modelos.
- Ignorar a licença. Os termos de alguns modelos restringem o uso das suas saídas para treinar outros modelos.
Saiba mais em treino e inferência eficientes.
Fontes
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
- Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
Relacionados
Como encontro um modelo específico para a minha tarefa em vez de usar um chatbot geral?
Como encontrar um modelo pequeno feito para uma só tarefa, como classificar, extrair ou traduzir, e confirmar que rende como um chatbot com menos energia.
Como encaminho pedidos para modelos menores?
Como encaminhar os pedidos de rotina para um modelo pequeno e só os difíceis para um grande, e ajustar o roteador para que as repetições não comam a economia.
Como faço a poda de uma rede neural?
Como podar uma rede neural treinada para remover pesos que contribuem pouco, testar quanta precisão resta e conferir se o hardware economiza de fato.
Treinamento e inferência de IA eficientes
Técnicas para desenvolvedores e pesquisadores reduzirem a energia da IA: poda, esparsidade, quantização, destilação, KV cache, batching, precisão mista e agendamento.