# Come eseguo un modello di IA in locale?

> Come eseguire un modello di IA aperto sul proprio portatile o server con strumenti come Ollama o llama.cpp, scegliere un modello quantizzato adatto e misurarne l'energia.

Source: https://greenai.guide/it/come/come-eseguo-un-modello-di-ia-in-locale/  
Updated: 2026-11-19

## In breve

Installi un programma di esecuzione locale come Ollama o llama.cpp, scarichi un piccolo modello a pesi aperti in un formato quantizzato come GGUF e lo esegua sul Suo computer. Scelga il modello più piccolo che svolge il Suo compito: le versioni quantizzate richiedono molta meno memoria, quindi un modello da 8 miliardi di parametri che richiede circa 16 GB nella forma a 16 bit entra in circa 4–5 GB a 4 bit.

## Steps

1. Verifichi la memoria del Suo computer e se dispone di una GPU utilizzabile o di un chip Apple silicon.
2. Installi un programma di esecuzione locale come Ollama o llama.cpp.
3. Scarichi un piccolo modello a pesi aperti in un formato quantizzato adatto alla Sua memoria.
4. Lo provi sui Suoi compiti reali e passi a una taglia superiore solo se non basta.
5. Ne misuri l'energia con un misuratore a presa o con uno strumento come CodeCarbon.
6. Chiuda il modello quando non lo usa, così che non occupi memoria né consumi energia.

**Eseguire un modello in locale significa scegliere un programma di esecuzione, un modello adatto e poi misurare.**
I dati restano sulla Sua macchina e può vedere esattamente quanto costa l'IA in energia, cosa che un servizio
ospitato non Le mostra mai.

## Che cosa mi serve? {#what-do-i-need}

- **Un programma di esecuzione.** Ollama è un modo molto diffuso per usare modelli aperti sul proprio computer.
  llama.cpp è un motore C/C++ di livello più basso, pensato per eseguire modelli con una configurazione minima su
  un'ampia gamma di hardware.
- **Un file del modello.** GGUF è un formato binario ottimizzato per un caricamento rapido e un'inferenza efficiente,
  con versioni quantizzate da meno di 2 bit fino a 8 bit per peso.
- **Memoria sufficiente.** La documentazione di Hugging Face dà una regola pratica: un modello da 8 miliardi di
  parametri richiede circa 16 GB per i pesi nella forma a 16 bit, circa 8 GB a 8 bit e circa 4–5 GB a 4 bit. Meno
  bit costano un po' di accuratezza.

## È più verde del cloud? {#is-it-greener-than-the-cloud}

**Non automaticamente.** Un portatile che elabora una richiesta alla volta può essere meno efficiente per risposta
di un server di data centre molto utilizzato e con richieste ben raggruppate in batch. Il locale conviene quando il
modello è piccolo, il compito è frequente o si evita di inviare grandi quantità di dati in rete. Veda
[dispositivo o cloud](/it/come/come-decido-se-far-girare-l-ia-sul-mio-dispositivo-o-nel-cloud/).

## Errori comuni {#common-mistakes}

- **Scaricare il modello più grande che la macchina riesce a contenere.** Cominci in piccolo; veda
  [scegliere un modello di IA più piccolo](/it/come/come-scelgo-un-modello-di-ia-piu-piccolo/).
- **Lasciare il modello caricato tutto il giorno** su un computer fisso con una GPU che consuma molto.
- **Comprare una nuova GPU prima di provare un modello quantizzato**; veda [come quantizzare un modello](/it/come/come-quantizzo-un-modello/).

Per verificare l'energia, usi un misuratore a presa o CodeCarbon, come descritto in
[misurare l'energia che l'IA consuma sul proprio computer](/it/come/come-misuro-l-energia-che-l-ia-consuma-sul-mio-computer-o-sulla-mia/). Per i
compromessi, legga [edge o cloud](/it/buone-pratiche/edge-o-cloud-dove-dovrebbe-girare-l-ia/).

## Fonti

- [Ollama documentation](https://docs.ollama.com), Ollama (2026)
- [llama.cpp: LLM inference in C/C++](https://github.com/ggml-org/llama.cpp), ggml-org (GitHub) (2026)
- [GGUF](https://huggingface.co/docs/hub/gguf), Hugging Face Hub documentation (2026)
- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
