In breve
Installi un programma di esecuzione locale come Ollama o llama.cpp, scarichi un piccolo modello a pesi aperti in un formato quantizzato come GGUF e lo esegua sul Suo computer. Scelga il modello più piccolo che svolge il Suo compito: le versioni quantizzate richiedono molta meno memoria, quindi un modello da 8 miliardi di parametri che richiede circa 16 GB nella forma a 16 bit entra in circa 4–5 GB a 4 bit.
Passaggi
- Verifichi la memoria del Suo computer e se dispone di una GPU utilizzabile o di un chip Apple silicon.
- Installi un programma di esecuzione locale come Ollama o llama.cpp.
- Scarichi un piccolo modello a pesi aperti in un formato quantizzato adatto alla Sua memoria.
- Lo provi sui Suoi compiti reali e passi a una taglia superiore solo se non basta.
- Ne misuri l'energia con un misuratore a presa o con uno strumento come CodeCarbon.
- Chiuda il modello quando non lo usa, così che non occupi memoria né consumi energia.
Eseguire un modello in locale significa scegliere un programma di esecuzione, un modello adatto e poi misurare. I dati restano sulla Sua macchina e può vedere esattamente quanto costa l'IA in energia, cosa che un servizio ospitato non Le mostra mai.
Che cosa mi serve?
- Un programma di esecuzione. Ollama è un modo molto diffuso per usare modelli aperti sul proprio computer. llama.cpp è un motore C/C++ di livello più basso, pensato per eseguire modelli con una configurazione minima su un'ampia gamma di hardware.
- Un file del modello. GGUF è un formato binario ottimizzato per un caricamento rapido e un'inferenza efficiente, con versioni quantizzate da meno di 2 bit fino a 8 bit per peso.
- Memoria sufficiente. La documentazione di Hugging Face dà una regola pratica: un modello da 8 miliardi di parametri richiede circa 16 GB per i pesi nella forma a 16 bit, circa 8 GB a 8 bit e circa 4–5 GB a 4 bit. Meno bit costano un po' di accuratezza.
È più verde del cloud?
Non automaticamente. Un portatile che elabora una richiesta alla volta può essere meno efficiente per risposta di un server di data centre molto utilizzato e con richieste ben raggruppate in batch. Il locale conviene quando il modello è piccolo, il compito è frequente o si evita di inviare grandi quantità di dati in rete. Veda dispositivo o cloud.
Errori comuni
- Scaricare il modello più grande che la macchina riesce a contenere. Cominci in piccolo; veda scegliere un modello di IA più piccolo.
- Lasciare il modello caricato tutto il giorno su un computer fisso con una GPU che consuma molto.
- Comprare una nuova GPU prima di provare un modello quantizzato; veda come quantizzare un modello.
Per verificare l'energia, usi un misuratore a presa o CodeCarbon, come descritto in misurare l'energia che l'IA consuma sul proprio computer. Per i compromessi, legga edge o cloud.
Fonti
- Ollama documentation, Ollama (2026)
- llama.cpp: LLM inference in C/C++, ggml-org (GitHub) (2026)
- GGUF, Hugging Face Hub documentation (2026)
- Quantization overview, Hugging Face Transformers documentation (2026)
- CodeCarbon, CodeCarbon (2026)
Correlati
Come quantizzo un modello?
Come quantizzare un modello di IA a 8 o 4 bit: quali strumenti usare, come verificare la qualità e quando la quantizzazione fa risparmiare energia e quando no.
Come decido se far girare l'IA sul mio dispositivo o nel cloud?
Come valutare l'IA sul dispositivo (edge) rispetto all'IA nel cloud per energia, privacy e qualità, e quali compiti si adattano a ciascuna, con oneste cautele sulle prove.
Come misuro l'energia che l'IA consuma sul mio computer o sulla mia GPU?
Misuri l'energia dell'IA in locale con contatori hardware, telemetria della GPU o un misuratore a presa, per tutto il lavoro, sottraendo il consumo a riposo.
Edge o cloud: dove dovrebbe girare l'IA?
Come confrontare l'IA sul dispositivo e all'edge con i data centre centrali: energia, rete, hardware, privacy e resilienza, con un metodo passo passo.