# Como deixo um modelo pequeno o suficiente para um dispositivo de borda?

> Reduza um modelo para celulares, sensores e placas embarcadas: comece pequeno, destile, quantize e pode, e teste a precisão e a energia no próprio aparelho.

Source: https://greenai.guide/pt/como/como-deixo-um-modelo-pequeno-o-suficiente-para-um-dispositivo-de-borda/  
Updated: 2026-11-19

## Em resumo

Parta do menor modelo que possa atingir o seu padrão de qualidade e depois reduza-o ainda mais com destilação, quantização e poda, testando cada etapa no dispositivo de destino. Meça a energia por inferência, a latência e a precisão juntas no hardware real e deixe o modelo passar para uma versão menor quando a bateria estiver fraca ou o dispositivo estiver quente.

## Steps

1. Defina um padrão de qualidade e um orçamento de memória, latência e energia para o dispositivo de destino.
2. Parta de um modelo pequeno ou destilado em vez de reduzir um modelo geral grande.
3. Quantize os pesos para 8 ou 4 bits e verifique a precisão com os seus próprios casos de teste.
4. Pode os pesos que contribuem pouco e teste de novo no dispositivo.
5. Meça a energia por inferência, a latência e a precisão juntas no hardware real.
6. Mude para um modelo menor ou uma frequência mais baixa quando a bateria estiver fraca ou o dispositivo estiver quente.

**Combine um modelo inicial pequeno com destilação, quantização e poda, e avalie cada etapa no próprio
dispositivo.** Os dispositivos de borda têm pouca memória e muitas vezes funcionam com bateria, então um modelo grande
demais ou não cabe, ou esgota a bateria e faz o dispositivo reduzir o desempenho para não aquecer. Acertar o tamanho
também significa que os dados não precisam ser enviados para a nuvem.

## Que técnicas reduzem mais um modelo? {#which-techniques-shrink-a-model-most}

- **A destilação** treina um "aluno" pequeno para imitar um "professor" grande. O DistilBERT era 40% menor e 60% mais
  rápido que o BERT e mantinha 97% da sua capacidade de compreensão da linguagem.
- **A quantização** armazena os pesos com menos bits. A documentação do Hugging Face dá o exemplo de um modelo de
  8 bilhões de parâmetros que precisa de cerca de 16 GB para os pesos com precisão de 16 bits, cerca de 8 GB com 8 bits
  e cerca de 4–5 GB com 4 bits, com alguma perda de precisão. Veja [como quantizar um modelo](/pt/como/como-faco-a-quantizacao-de-um-modelo/).
- **A poda** remove os pesos que quase não afetam a saída. Veja [como podar uma rede neural](/pt/como/como-faco-a-poda-de-uma-rede-neural/).

## Como o modelo deve se comportar no dispositivo? {#how-should-the-model-behave-on-the-device}

O padrão de IA na borda da Green Software Foundation recomenda acompanhar juntas a energia por inferência, a latência
e a precisão, e adaptar-se às condições: um modelo menor ou uma frequência de inferência mais baixa quando a bateria
estiver fraca ou o dispositivo estiver quente.

## Erros comuns {#common-mistakes}

- **Testar só num notebook.** Aceleradores, memória e limites térmicos são diferentes; meça no hardware de destino.
- **Reduzir abaixo do padrão de qualidade.** Um modelo que falha e precisa recorrer à nuvem como reserva pode custar
  mais do que economiza.
- **Executar a inferência o tempo todo.** Quando possível, acione-a por eventos, em vez de a cada quadro ou segundo.

Se a borda ou a nuvem é mais verde depende do caso: veja [borda ou nuvem](/pt/boas-praticas/edge-ou-nuvem-onde-a-ia-deve-rodar/) e
[IA na borda](/pt/artigos/ia-na-borda-mais-verde-ou-so-menos-visivel/).

## Fontes

- [Optimize power consumption for edge AI inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/optimize-edge-ai-power-performance.md), Green Software Foundation, Green Software Patterns (2025)
- [Run AI models at the edge](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/architecture/system-topology/run-ai-models-edge.md), Green Software Foundation, Green Software Patterns (2025)
- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
