# Como acelero um modelo grande com decodificação especulativa?

> Como a decodificação especulativa deixa um pequeno modelo de rascunho propor tokens que um modelo grande verifica: respostas mais rápidas e idênticas.

Source: https://greenai.guide/pt/como/como-acelero-um-modelo-grande-com-decodificacao-especulativa/  
Updated: 2026-11-19

## Em resumo

Junte o seu modelo grande a um pequeno modelo de rascunho da mesma família: o rascunho propõe vários tokens e o modelo grande verifica-os numa única passagem, mantendo apenas aqueles com que concorda. O resultado é o mesmo do modelo grande sozinho, e o estudo original relatou inferência 2 a 3 vezes mais rápida. Verifique se a sua stack de serviço a suporta e depois meça a energia por pedido, e não só a velocidade.

## Steps

1. Verifique se a sua biblioteca de inferência ou o seu motor de serviço suporta decodificação especulativa ou assistida.
2. Escolha um pequeno modelo de rascunho que use o mesmo tokenizador do modelo grande.
3. Ative-a e confirme que os resultados coincidem na sua própria carga de trabalho.
4. Meça a energia por pedido e a latência com os seus tamanhos de lote reais.
5. Mantenha-a apenas se a energia por pedido cair, e não só a latência.

**Deixe um modelo pequeno fazer as suposições e o modelo grande fazer a verificação.** Os modelos grandes geram um
token de cada vez, mantendo hardware potente ocupado a cada palavra; a decodificação especulativa permite-lhes
confirmar vários tokens de uma só vez.

## Como funciona? {#how-does-it-work}

Um pequeno **modelo de rascunho** propõe rapidamente os próximos tokens. O grande **modelo-alvo** verifica depois
todos eles numa única passagem e aceita os que ele próprio teria produzido. Quando discorda, substitui-os pelo seu
próprio token e o rascunho recomeça. Leviathan, Kalman e Matias mostraram uma aceleração de 2 a 3 vezes no modelo
T5-XXL com resultados idênticos. A documentação da Hugging Face indica que não há perda de precisão, porque a passagem
de verificação garante que são gerados os mesmos resultados.

Entre as variantes está a prompt lookup decoding, que faz o rascunho a partir de texto já presente no prompt e se
adapta a tarefas como editar ou resumir, em que a resposta repete a entrada.

## Mais rápido significa mais verde? {#does-faster-mean-greener}

**Não automaticamente.** Agora você corre dois modelos, e o grande faz trabalho extra de verificação. Se a energia por
pedido cai ou não depende da frequência com que os rascunhos são aceitos, do tamanho do lote e do seu hardware.
Pesquisadores do GreenCode verificaram no llama.cpp que a energia e a velocidade podem contar histórias diferentes: uma
mudança poupou 4,7% de energia da GPU com um ganho de velocidade de apenas 3%. Meça a energia diretamente.

## Erros comuns {#common-mistakes}

- **Um modelo de rascunho grande demais**, que torna tudo mais lento.
- **Tokenizadores diferentes** entre o rascunho e o alvo.
- **Testar numa carga de trabalho diferente** da de produção; as taxas de aceitação variam conforme a tarefa.

Para outras técnicas de serviço, veja [como reduzir a energia de servir um modelo](/pt/como/como-reduzo-a-energia-de-servir-um-modelo-em-producao/)
e [treino e inferência eficientes](/pt/boas-praticas/treinamento-e-inferencia-de-ia-eficientes/).

## Fontes

- [Fast inference from transformers via speculative decoding](https://arxiv.org/abs/2211.17192), Leviathan, Kalman and Matias, ICML 2023 (2022)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [GreenCode Constitution: agent principles for optimizing code and LLM inference energy use](https://greencode.ai/publications/greencode-constitution-agent-principles-for-optimizing-code-and-llm-inference-en/), Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
