In breve
Definisca che cosa significa "abbastanza buono" su esempi reali, poi provi i modelli dal più piccolo al più grande e si fermi al primo che supera la prova. I modelli piccoli e specifici per un compito possono usare una frazione dell'energia di quelli grandi e generali: UNESCO e University College London riportano risparmi fino al 90% sui compiti adatti.
Passaggi
- Metta per iscritto il compito e una soglia di superamento, per esempio la quota di risposte che devono essere corrette.
- Raccolga da 20 a 50 esempi reali su cui fare le prove.
- Provi prima il modello più piccolo o "mini", e passi a uno più grande solo se non raggiunge la soglia.
- Consulti le valutazioni energetiche pubbliche, come l'AI Energy Score, dove esistono.
- Tenga un modello più grande per i casi che quello piccolo non riesce a gestire.
- Ripeta le prove quando cambiano i modelli o il Suo compito.
Usi il modello più piccolo che raggiunge la Sua soglia di qualità, non il più capace disponibile. Un grande modello generale paga, a ogni richiesta, capacità che il Suo compito potrebbe non usare mai.
Perché le dimensioni del modello contano così tanto?
Di solito sono la leva singola più importante sull'energia. Luccioni, Jernite e Strubell hanno rilevato che i modelli generativi multiuso costano ordini di grandezza di più da far funzionare rispetto ai sistemi specifici per gli stessi compiti. UNESCO e University College London hanno rilevato che piccoli modelli adattati a compiti specifici potrebbero ridurre il consumo energetico fino al 90%.
Come provo i candidati?
- Definisca la soglia sul Suo lavoro, per esempio "estrae correttamente il totale della fattura nel 98% dei casi".
- Provi prima quelli piccoli. Molti fornitori offrono versioni "mini", "lite" o "flash"; le famiglie a pesi aperti sono disponibili in diverse dimensioni.
- Si fermi al primo che supera la prova. Per compiti circoscritti, più grande non significa automaticamente più accurato.
- Confronti l'energia, non solo il prezzo. L'AI Energy Score di Hugging Face valuta i modelli aperti da una a cinque stelle in base all'energia per richiesta su compiti comuni; veda leggere una valutazione AI Energy Score.
Per chi usa l'IA ogni giorno vale la stessa idea: per le domande semplici scelga nel Suo chatbot l'opzione veloce o più leggera.
Errori comuni
- Scegliere in base alla reputazione invece di fare prove sui propri esempi.
- Misurare il costo per chiamata, non per successo. Un modello troppo piccolo che fallisce, costringendo a una nuova esecuzione su uno grande, può costare di più nel complesso.
- Non tornare mai sulla scelta. I modelli piccoli migliorano in fretta; ripeta le prove ogni pochi mesi.
Per inviare automaticamente ogni richiesta al modello della dimensione giusta, veda instradare le richieste verso modelli più piccoli. Il metodo completo è in scegliere il modello giusto.
Fonti
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
- AI Energy Score, Hugging Face (2025)
Correlati
Scegliere il modello giusto per il compito
Come dimensionare bene l'IA: quando usare modelli piccoli o specializzati, quando un modello di frontiera vale il suo costo, come funziona il routing e quando non usare l'IA.
Come trovo un modello specifico per un compito invece di usare un chatbot generico?
Come trovare un piccolo modello pensato per un solo compito, come classificare, estrarre o tradurre, e verificare che valga un chatbot generico con meno energia.
Come instrado le richieste verso modelli più piccoli?
Come instradare le richieste di routine verso un modello piccolo e solo quelle difficili verso uno grande, e come regolare il router perché i nuovi tentativi non annullino il risparmio.
Come confronto il consumo energetico di diversi modelli di IA?
Come confrontare in modo equo i modelli di IA sull'energia: usi benchmark come l'AI Energy Score, oppure li misuri Lei sullo stesso compito, hardware e impostazioni.