# Como faço a quantização de um modelo?

> Como quantizar um modelo de IA para 8 ou 4 bits: que ferramentas usar, como testar a qualidade e quando a quantização economiza energia e quando não economiza.

Source: https://greenai.guide/pt/como/como-faco-a-quantizacao-de-um-modelo/  
Updated: 2026-11-19

## Em resumo

Quantizar guarda os pesos de um modelo com menos bits, normalmente 8 ou 4 em vez de 16 ou 32, para que ele precise de menos memória e muitas vezes de menos energia por resposta. Carregue uma versão já quantizada ou quantize com os métodos nativos da sua biblioteca e depois teste-a com os seus próprios exemplos, comparando com o modelo de precisão total. Fique com ela se a qualidade se mantiver e a energia por pedido cair.

## Steps

1. Verifique se já existe uma versão quantizada do seu modelo.
2. Caso contrário, quantize com um método compatível da sua biblioteca, começando por 8 bits.
3. Rode o modelo quantizado e o original no mesmo conjunto de avaliação.
4. Experimente 4 bits se a qualidade em 8 bits se mantiver e você precisar economizar mais memória.
5. Meça a energia e a latência por pedido com o seu tamanho de lote real antes de trocar.

**A quantização costuma ser o ganho de eficiência mais rápido para um modelo que você mesmo executa.** Ela reduz a
memória, de modo que o modelo cabe em menos GPUs ou em GPUs menores, e pode cortar a energia por resposta.

## Por que isso importa? {#why-does-it-matter}

A documentação do Hugging Face dá uma ideia da escala: um modelo de 8 bilhões de parâmetros precisa de cerca de 16 GB
para os pesos com precisão de 16 bits, cerca de 8 GB com 8 bits e cerca de 4 a 5 GB com 4 bits. Dettmers e colegas
mostraram com o LLM.int8() que a inferência em 8 bits pode cortar pela metade a memória necessária mantendo o
desempenho de precisão total, para modelos de até 175 bilhões de parâmetros. A UNESCO e a University College London
relatam que a compressão, como a quantização, pode economizar até 44% da energia.

## Como faço isso? {#how-do-i-do-it}

- **Baixe uma versão quantizada.** Muitos modelos abertos são publicados em formatos quantizados. O GGUF, usado pelo
  llama.cpp, oferece tipos de quantização de cerca de 1,5 a 8 bits por peso.
- **Quantize ao carregar.** Bibliotecas como o Hugging Face Transformers suportam mais de 20 métodos de quantização,
  vários dos quais quantizam os pesos enquanto o modelo carrega.
- **Calibre quando necessário.** Alguns métodos usam uma pequena amostra dos seus dados para escolher como arredondar,
  o que tende a preservar melhor a qualidade em 4 bits.

## Erros comuns {#common-mistakes}

- **Pular o teste de qualidade.** Menos bits custam alguma precisão, e cada método equilibra memória, velocidade e
  precisão de um jeito diferente. Teste com os seus próprios casos.
- **Supor que é sempre mais rápido.** O Hugging Face observa que, se você não está limitado pela memória da GPU, a
  quantização pode aumentar um pouco a latência por causa das etapas extras de quantizar e desquantizar. Meça a
  energia, não só a velocidade.
- **Parar na quantização.** Combine-a com um modelo menor ou com a [destilação](/pt/como/como-destilo-um-modelo-grande-em-um-modelo-menor/).

Leia mais em [treinamento e inferência eficientes](/pt/boas-praticas/treinamento-e-inferencia-de-ia-eficientes/).

## Fontes

- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [LLM.int8(): 8-bit matrix multiplication for transformers at scale](https://arxiv.org/abs/2208.07339), Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
- [Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation](https://www.unesco.org/en/articles/ai-large-language-models-new-report-shows-small-changes-can-reduce-energy-use-90), UNESCO and University College London (2025)
- [GGUF](https://huggingface.co/docs/hub/gguf), Hugging Face Hub documentation (2026)
