Em resumo
Junte o seu modelo grande a um pequeno modelo de rascunho da mesma família: o rascunho propõe vários tokens e o modelo grande verifica-os numa única passagem, mantendo apenas aqueles com que concorda. O resultado é o mesmo do modelo grande sozinho, e o estudo original relatou inferência 2 a 3 vezes mais rápida. Verifique se a sua stack de serviço a suporta e depois meça a energia por pedido, e não só a velocidade.
Passos
- Verifique se a sua biblioteca de inferência ou o seu motor de serviço suporta decodificação especulativa ou assistida.
- Escolha um pequeno modelo de rascunho que use o mesmo tokenizador do modelo grande.
- Ative-a e confirme que os resultados coincidem na sua própria carga de trabalho.
- Meça a energia por pedido e a latência com os seus tamanhos de lote reais.
- Mantenha-a apenas se a energia por pedido cair, e não só a latência.
Deixe um modelo pequeno fazer as suposições e o modelo grande fazer a verificação. Os modelos grandes geram um token de cada vez, mantendo hardware potente ocupado a cada palavra; a decodificação especulativa permite-lhes confirmar vários tokens de uma só vez.
Como funciona?
Um pequeno modelo de rascunho propõe rapidamente os próximos tokens. O grande modelo-alvo verifica depois todos eles numa única passagem e aceita os que ele próprio teria produzido. Quando discorda, substitui-os pelo seu próprio token e o rascunho recomeça. Leviathan, Kalman e Matias mostraram uma aceleração de 2 a 3 vezes no modelo T5-XXL com resultados idênticos. A documentação da Hugging Face indica que não há perda de precisão, porque a passagem de verificação garante que são gerados os mesmos resultados.
Entre as variantes está a prompt lookup decoding, que faz o rascunho a partir de texto já presente no prompt e se adapta a tarefas como editar ou resumir, em que a resposta repete a entrada.
Mais rápido significa mais verde?
Não automaticamente. Agora você corre dois modelos, e o grande faz trabalho extra de verificação. Se a energia por pedido cai ou não depende da frequência com que os rascunhos são aceitos, do tamanho do lote e do seu hardware. Pesquisadores do GreenCode verificaram no llama.cpp que a energia e a velocidade podem contar histórias diferentes: uma mudança poupou 4,7% de energia da GPU com um ganho de velocidade de apenas 3%. Meça a energia diretamente.
Erros comuns
- Um modelo de rascunho grande demais, que torna tudo mais lento.
- Tokenizadores diferentes entre o rascunho e o alvo.
- Testar numa carga de trabalho diferente da de produção; as taxas de aceitação variam conforme a tarefa.
Para outras técnicas de serviço, veja como reduzir a energia de servir um modelo e treino e inferência eficientes.
Fontes
- Fast inference from transformers via speculative decoding, Leviathan, Kalman and Matias, ICML 2023 (2022)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
Relacionados
Como reduzo a energia de servir um modelo em produção?
Como servir um modelo auto-hospedado com menos energia por pedido: runtimes eficientes, lotes, meia precisão, caches compilados e hardware testado.
Como agrupo pedidos de IA em lotes para economizar energia?
Como o processamento em lotes aumenta o uso dos aceleradores e reduz a energia por resposta: lotes contínuos para tráfego ao vivo e lotes em fila para o resto.
Treinamento e inferência de IA eficientes
Técnicas para desenvolvedores e pesquisadores reduzirem a energia da IA: poda, esparsidade, quantização, destilação, KV cache, batching, precisão mista e agendamento.
A matemática que torna a IA mais eficiente
Poda, esparsidade, sketching, teoria de matrizes aleatórias e modelos informados pela física: como a matemática reduz a computação, a memória e a energia da IA.