greenai.guide

Início › Como faço para…? › Como acelero um modelo grande com decodificação especulativa?

Como faço para…?

Como acelero um modelo grande com decodificação especulativa?

Atualizado · 1 min de leitura

Em resumo

Junte o seu modelo grande a um pequeno modelo de rascunho da mesma família: o rascunho propõe vários tokens e o modelo grande verifica-os numa única passagem, mantendo apenas aqueles com que concorda. O resultado é o mesmo do modelo grande sozinho, e o estudo original relatou inferência 2 a 3 vezes mais rápida. Verifique se a sua stack de serviço a suporta e depois meça a energia por pedido, e não só a velocidade.

Passos

  1. Verifique se a sua biblioteca de inferência ou o seu motor de serviço suporta decodificação especulativa ou assistida.
  2. Escolha um pequeno modelo de rascunho que use o mesmo tokenizador do modelo grande.
  3. Ative-a e confirme que os resultados coincidem na sua própria carga de trabalho.
  4. Meça a energia por pedido e a latência com os seus tamanhos de lote reais.
  5. Mantenha-a apenas se a energia por pedido cair, e não só a latência.

Deixe um modelo pequeno fazer as suposições e o modelo grande fazer a verificação. Os modelos grandes geram um token de cada vez, mantendo hardware potente ocupado a cada palavra; a decodificação especulativa permite-lhes confirmar vários tokens de uma só vez.

Como funciona?

Um pequeno modelo de rascunho propõe rapidamente os próximos tokens. O grande modelo-alvo verifica depois todos eles numa única passagem e aceita os que ele próprio teria produzido. Quando discorda, substitui-os pelo seu próprio token e o rascunho recomeça. Leviathan, Kalman e Matias mostraram uma aceleração de 2 a 3 vezes no modelo T5-XXL com resultados idênticos. A documentação da Hugging Face indica que não há perda de precisão, porque a passagem de verificação garante que são gerados os mesmos resultados.

Entre as variantes está a prompt lookup decoding, que faz o rascunho a partir de texto já presente no prompt e se adapta a tarefas como editar ou resumir, em que a resposta repete a entrada.

Mais rápido significa mais verde?

Não automaticamente. Agora você corre dois modelos, e o grande faz trabalho extra de verificação. Se a energia por pedido cai ou não depende da frequência com que os rascunhos são aceitos, do tamanho do lote e do seu hardware. Pesquisadores do GreenCode verificaram no llama.cpp que a energia e a velocidade podem contar histórias diferentes: uma mudança poupou 4,7% de energia da GPU com um ganho de velocidade de apenas 3%. Meça a energia diretamente.

Erros comuns

  • Um modelo de rascunho grande demais, que torna tudo mais lento.
  • Tokenizadores diferentes entre o rascunho e o alvo.
  • Testar numa carga de trabalho diferente da de produção; as taxas de aceitação variam conforme a tarefa.

Para outras técnicas de serviço, veja como reduzir a energia de servir um modelo e treino e inferência eficientes.

Fontes

  1. Fast inference from transformers via speculative decoding, Leviathan, Kalman and Matias, ICML 2023 (2022)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)

Junte-se a nós

Ajude a reduzir o impacto da IA no planeta

Receba novos guias, editais de financiamento e listagens dos diretórios por e-mail, cerca de uma vez por mês. Ou adicione seu produto, curso, doutorado ou pesquisa aos diretórios.

Sem rastreamento. Cancele a inscrição com um clique. Outras formas de participar · Privacidade