greenai.guide

Home › Come faccio a…? › Come eseguo un modello di IA in locale?

Come faccio a…?

Come eseguo un modello di IA in locale?

Aggiornato · 2 min di lettura

In breve

Installi un programma di esecuzione locale come Ollama o llama.cpp, scarichi un piccolo modello a pesi aperti in un formato quantizzato come GGUF e lo esegua sul Suo computer. Scelga il modello più piccolo che svolge il Suo compito: le versioni quantizzate richiedono molta meno memoria, quindi un modello da 8 miliardi di parametri che richiede circa 16 GB nella forma a 16 bit entra in circa 4–5 GB a 4 bit.

Passaggi

  1. Verifichi la memoria del Suo computer e se dispone di una GPU utilizzabile o di un chip Apple silicon.
  2. Installi un programma di esecuzione locale come Ollama o llama.cpp.
  3. Scarichi un piccolo modello a pesi aperti in un formato quantizzato adatto alla Sua memoria.
  4. Lo provi sui Suoi compiti reali e passi a una taglia superiore solo se non basta.
  5. Ne misuri l'energia con un misuratore a presa o con uno strumento come CodeCarbon.
  6. Chiuda il modello quando non lo usa, così che non occupi memoria né consumi energia.

Eseguire un modello in locale significa scegliere un programma di esecuzione, un modello adatto e poi misurare. I dati restano sulla Sua macchina e può vedere esattamente quanto costa l'IA in energia, cosa che un servizio ospitato non Le mostra mai.

Che cosa mi serve?

  • Un programma di esecuzione. Ollama è un modo molto diffuso per usare modelli aperti sul proprio computer. llama.cpp è un motore C/C++ di livello più basso, pensato per eseguire modelli con una configurazione minima su un'ampia gamma di hardware.
  • Un file del modello. GGUF è un formato binario ottimizzato per un caricamento rapido e un'inferenza efficiente, con versioni quantizzate da meno di 2 bit fino a 8 bit per peso.
  • Memoria sufficiente. La documentazione di Hugging Face dà una regola pratica: un modello da 8 miliardi di parametri richiede circa 16 GB per i pesi nella forma a 16 bit, circa 8 GB a 8 bit e circa 4–5 GB a 4 bit. Meno bit costano un po' di accuratezza.

È più verde del cloud?

Non automaticamente. Un portatile che elabora una richiesta alla volta può essere meno efficiente per risposta di un server di data centre molto utilizzato e con richieste ben raggruppate in batch. Il locale conviene quando il modello è piccolo, il compito è frequente o si evita di inviare grandi quantità di dati in rete. Veda dispositivo o cloud.

Errori comuni

  • Scaricare il modello più grande che la macchina riesce a contenere. Cominci in piccolo; veda scegliere un modello di IA più piccolo.
  • Lasciare il modello caricato tutto il giorno su un computer fisso con una GPU che consuma molto.
  • Comprare una nuova GPU prima di provare un modello quantizzato; veda come quantizzare un modello.

Per verificare l'energia, usi un misuratore a presa o CodeCarbon, come descritto in misurare l'energia che l'IA consuma sul proprio computer. Per i compromessi, legga edge o cloud.

Fonti

  1. Ollama documentation, Ollama (2026)
  2. llama.cpp: LLM inference in C/C++, ggml-org (GitHub) (2026)
  3. GGUF, Hugging Face Hub documentation (2026)
  4. Quantization overview, Hugging Face Transformers documentation (2026)
  5. CodeCarbon, CodeCarbon (2026)

Si unisca a noi

Aiuti a ridurre l'impatto dell'IA sul pianeta

Riceva per email nuove guide, bandi di finanziamento e schede delle directory, circa una volta al mese. Oppure aggiunga il suo prodotto, corso, dottorato o ricerca alle directory.

Nessun tracciamento. Disiscrizione con un clic. Altri modi per partecipare · Privacy