Em resumo
Instale um executor local como o Ollama ou o llama.cpp, baixe um modelo pequeno de pesos abertos num formato quantizado como o GGUF e rode-o no seu próprio computador. Escolha o menor modelo que faça a sua tarefa: as versões quantizadas precisam de muito menos memória, então um modelo de 8 bilhões de parâmetros que precisa de cerca de 16 GB no formato de 16 bits cabe em cerca de 4–5 GB com 4 bits.
Passos
- Verifique a memória do seu computador e se ele tem uma GPU utilizável ou Apple silicon.
- Instale um executor local como o Ollama ou o llama.cpp.
- Baixe um modelo pequeno de pesos abertos num formato quantizado que caiba na sua memória.
- Teste-o nas suas tarefas reais e passe para um tamanho maior só se ele não for suficiente.
- Meça a energia com um medidor de tomada ou uma ferramenta como o CodeCarbon.
- Feche o modelo quando não estiver usando, para que ele não ocupe memória nem consuma energia.
Rodar um modelo localmente significa escolher um executor, um modelo que caiba e depois medir. Isso mantém os dados na sua máquina e permite ver exatamente quanto a IA custa em energia, algo que um serviço hospedado nunca mostra.
Do que eu preciso?
- Um executor. O Ollama é uma forma popular de usar modelos abertos no seu próprio computador. O llama.cpp é um motor em C/C++ de nível mais baixo, feito para rodar modelos com o mínimo de configuração numa grande variedade de hardware.
- Um arquivo de modelo. O GGUF é um formato binário otimizado para carregamento rápido e inferência eficiente, com versões quantizadas de menos de 2 bits até 8 bits por peso.
- Memória suficiente. A documentação do Hugging Face dá uma regra prática: um modelo de 8 bilhões de parâmetros precisa de cerca de 16 GB para os pesos no formato de 16 bits, cerca de 8 GB com 8 bits e cerca de 4–5 GB com 4 bits. Menos bits custam alguma precisão.
É mais verde do que a nuvem?
Não automaticamente. Um laptop que atende um pedido de cada vez pode ser menos eficiente por resposta do que um servidor de data center movimentado, que agrupa bem os pedidos. O local leva vantagem quando o modelo é pequeno, a tarefa é frequente ou quando evita enviar grandes volumes de dados pela rede. Veja dispositivo ou nuvem.
Erros comuns
- Baixar o maior modelo que a sua máquina aguenta. Comece pequeno; veja escolher um modelo de IA menor.
- Deixar o modelo carregado o dia todo num computador de mesa com uma GPU que consome muita energia.
- Comprar uma GPU nova antes de experimentar um modelo quantizado; veja como quantizar um modelo.
Para conferir a energia, use um medidor de tomada ou o CodeCarbon, como descrito em medir a energia que a IA usa no seu próprio computador. Para as vantagens e desvantagens, leia borda ou nuvem.
Fontes
- Ollama documentation, Ollama (2026)
- llama.cpp: LLM inference in C/C++, ggml-org (GitHub) (2026)
- GGUF, Hugging Face Hub documentation (2026)
- Quantization overview, Hugging Face Transformers documentation (2026)
- CodeCarbon, CodeCarbon (2026)
Relacionados
Como faço a quantização de um modelo?
Como quantizar um modelo de IA para 8 ou 4 bits: que ferramentas usar, como testar a qualidade e quando a quantização economiza energia e quando não economiza.
Como decido entre executar a IA no meu aparelho ou na nuvem?
Como pesar a IA no aparelho (edge) contra a IA na nuvem em energia, privacidade e qualidade, que tarefas combinam com cada uma, e as ressalvas das evidências.
Como meço a energia que a IA usa no meu próprio computador ou GPU?
Meça a energia da IA local com contadores de hardware, telemetria da GPU ou um medidor de tomada, amostre o trabalho todo e subtraia a base em repouso.
Edge ou nuvem: onde a IA deve rodar?
Como comparar a IA no dispositivo e na edge com data centers centrais: energia, rede, hardware, privacidade e resiliência, com um passo a passo para decidir.