greenai.guide

Início › Como faço para…? › Como faço a quantização de um modelo?

Como faço para…?

Como faço a quantização de um modelo?

Atualizado · 2 min de leitura

Em resumo

Quantizar guarda os pesos de um modelo com menos bits, normalmente 8 ou 4 em vez de 16 ou 32, para que ele precise de menos memória e muitas vezes de menos energia por resposta. Carregue uma versão já quantizada ou quantize com os métodos nativos da sua biblioteca e depois teste-a com os seus próprios exemplos, comparando com o modelo de precisão total. Fique com ela se a qualidade se mantiver e a energia por pedido cair.

Passos

  1. Verifique se já existe uma versão quantizada do seu modelo.
  2. Caso contrário, quantize com um método compatível da sua biblioteca, começando por 8 bits.
  3. Rode o modelo quantizado e o original no mesmo conjunto de avaliação.
  4. Experimente 4 bits se a qualidade em 8 bits se mantiver e você precisar economizar mais memória.
  5. Meça a energia e a latência por pedido com o seu tamanho de lote real antes de trocar.

A quantização costuma ser o ganho de eficiência mais rápido para um modelo que você mesmo executa. Ela reduz a memória, de modo que o modelo cabe em menos GPUs ou em GPUs menores, e pode cortar a energia por resposta.

Por que isso importa?

A documentação do Hugging Face dá uma ideia da escala: um modelo de 8 bilhões de parâmetros precisa de cerca de 16 GB para os pesos com precisão de 16 bits, cerca de 8 GB com 8 bits e cerca de 4 a 5 GB com 4 bits. Dettmers e colegas mostraram com o LLM.int8() que a inferência em 8 bits pode cortar pela metade a memória necessária mantendo o desempenho de precisão total, para modelos de até 175 bilhões de parâmetros. A UNESCO e a University College London relatam que a compressão, como a quantização, pode economizar até 44% da energia.

Como faço isso?

  • Baixe uma versão quantizada. Muitos modelos abertos são publicados em formatos quantizados. O GGUF, usado pelo llama.cpp, oferece tipos de quantização de cerca de 1,5 a 8 bits por peso.
  • Quantize ao carregar. Bibliotecas como o Hugging Face Transformers suportam mais de 20 métodos de quantização, vários dos quais quantizam os pesos enquanto o modelo carrega.
  • Calibre quando necessário. Alguns métodos usam uma pequena amostra dos seus dados para escolher como arredondar, o que tende a preservar melhor a qualidade em 4 bits.

Erros comuns

  • Pular o teste de qualidade. Menos bits custam alguma precisão, e cada método equilibra memória, velocidade e precisão de um jeito diferente. Teste com os seus próprios casos.
  • Supor que é sempre mais rápido. O Hugging Face observa que, se você não está limitado pela memória da GPU, a quantização pode aumentar um pouco a latência por causa das etapas extras de quantizar e desquantizar. Meça a energia, não só a velocidade.
  • Parar na quantização. Combine-a com um modelo menor ou com a destilação.

Leia mais em treinamento e inferência eficientes.

Fontes

  1. Quantization overview, Hugging Face Transformers documentation (2026)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. LLM.int8(): 8-bit matrix multiplication for transformers at scale, Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
  4. Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
  5. GGUF, Hugging Face Hub documentation (2026)

Junte-se a nós

Ajude a reduzir o impacto da IA no planeta

Receba novos guias, editais de financiamento e listagens dos diretórios por e-mail, cerca de uma vez por mês. Ou adicione seu produto, curso, doutorado ou pesquisa aos diretórios.

Sem rastreamento. Cancele a inscrição com um clique. Outras formas de participar · Privacidade