Em resumo
Parta do menor modelo que possa atingir o seu padrão de qualidade e depois reduza-o ainda mais com destilação, quantização e poda, testando cada etapa no dispositivo de destino. Meça a energia por inferência, a latência e a precisão juntas no hardware real e deixe o modelo passar para uma versão menor quando a bateria estiver fraca ou o dispositivo estiver quente.
Passos
- Defina um padrão de qualidade e um orçamento de memória, latência e energia para o dispositivo de destino.
- Parta de um modelo pequeno ou destilado em vez de reduzir um modelo geral grande.
- Quantize os pesos para 8 ou 4 bits e verifique a precisão com os seus próprios casos de teste.
- Pode os pesos que contribuem pouco e teste de novo no dispositivo.
- Meça a energia por inferência, a latência e a precisão juntas no hardware real.
- Mude para um modelo menor ou uma frequência mais baixa quando a bateria estiver fraca ou o dispositivo estiver quente.
Combine um modelo inicial pequeno com destilação, quantização e poda, e avalie cada etapa no próprio dispositivo. Os dispositivos de borda têm pouca memória e muitas vezes funcionam com bateria, então um modelo grande demais ou não cabe, ou esgota a bateria e faz o dispositivo reduzir o desempenho para não aquecer. Acertar o tamanho também significa que os dados não precisam ser enviados para a nuvem.
Que técnicas reduzem mais um modelo?
- A destilação treina um "aluno" pequeno para imitar um "professor" grande. O DistilBERT era 40% menor e 60% mais rápido que o BERT e mantinha 97% da sua capacidade de compreensão da linguagem.
- A quantização armazena os pesos com menos bits. A documentação do Hugging Face dá o exemplo de um modelo de 8 bilhões de parâmetros que precisa de cerca de 16 GB para os pesos com precisão de 16 bits, cerca de 8 GB com 8 bits e cerca de 4–5 GB com 4 bits, com alguma perda de precisão. Veja como quantizar um modelo.
- A poda remove os pesos que quase não afetam a saída. Veja como podar uma rede neural.
Como o modelo deve se comportar no dispositivo?
O padrão de IA na borda da Green Software Foundation recomenda acompanhar juntas a energia por inferência, a latência e a precisão, e adaptar-se às condições: um modelo menor ou uma frequência de inferência mais baixa quando a bateria estiver fraca ou o dispositivo estiver quente.
Erros comuns
- Testar só num notebook. Aceleradores, memória e limites térmicos são diferentes; meça no hardware de destino.
- Reduzir abaixo do padrão de qualidade. Um modelo que falha e precisa recorrer à nuvem como reserva pode custar mais do que economiza.
- Executar a inferência o tempo todo. Quando possível, acione-a por eventos, em vez de a cada quadro ou segundo.
Se a borda ou a nuvem é mais verde depende do caso: veja borda ou nuvem e IA na borda.
Fontes
- Optimize power consumption for edge AI inference, Green Software Foundation, Green Software Patterns (2025)
- Run AI models at the edge, Green Software Foundation, Green Software Patterns (2025)
- Quantization overview, Hugging Face Transformers documentation (2026)
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
Relacionados
Como faço a quantização de um modelo?
Como quantizar um modelo de IA para 8 ou 4 bits: que ferramentas usar, como testar a qualidade e quando a quantização economiza energia e quando não economiza.
Como destilo um modelo grande em um modelo menor?
Como funciona a destilação: um modelo professor grande treina um aluno pequeno para sua tarefa; depois você o testa e mantém o grande como reserva.
Como decido entre executar a IA no meu aparelho ou na nuvem?
Como pesar a IA no aparelho (edge) contra a IA na nuvem em energia, privacidade e qualidade, que tarefas combinam com cada uma, e as ressalvas das evidências.
Edge ou nuvem: onde a IA deve rodar?
Como comparar a IA no dispositivo e na edge com data centers centrais: energia, rede, hardware, privacidade e resiliência, com um passo a passo para decidir.