In breve
Usi un benchmark standard quando ne esiste uno per il Suo compito, come l'AI Energy Score di Hugging Face; altrimenti misuri Lei i candidati sullo stesso compito, con lo stesso hardware e le stesse impostazioni. Confronti l'energia per compito riuscito insieme alla qualità, perché un modello economico che fallisce alla fine costa di più.
Passaggi
- Verifichi se i modelli candidati hanno già una valutazione AI Energy Score per il Suo compito.
- Per i modelli che non ce l'hanno, esegua lo stesso benchmark su ciascuno, sulla stessa GPU e con le stesse impostazioni.
- Usi un insieme fisso di prompt reali con lunghezze di input e output realistiche.
- Registri energia per richiesta e qualità per ciascun modello, misurate allo stesso modo.
- Confronti il costo per compito riuscito, compresi i nuovi tentativi.
Confronti cose omogenee: stesso compito, stesso hardware, stesse impostazioni, stessa misurazione. I dati pubblicati da fornitori diversi usano metodi e perimetri diversi, quindi raramente si confrontano in modo equo.
Esiste un confronto già pronto?
Per molti modelli aperti, sì. L'AI Energy Score di Hugging Face misura l'energia della GPU ogni 1.000 richieste per dieci compiti comuni e assegna da una a cinque stelle rispetto ad altri modelli sullo stesso compito. Offre anche un modo per fare il benchmark di modelli privati con lo stesso metodo. Cominci da lì.
Come misuro i modelli da solo?
- Modelli che esegue Lei: racchiuda ogni esecuzione in uno strumento come CodeCarbon, che stima l'energia dalla potenza di processore e memoria.
- API in hosting: stimi a partire dal numero di token con uno strumento come EcoLogits, e indichi il risultato come stima.
- Mantenga fisso tutto il resto: prompt, dimensione del batch, lunghezza di input e output, hardware e regione.
- Ripeta le esecuzioni e riporti un intervallo, non un solo numero.
Le differenze possono essere grandi. Nel confronto di Luccioni, Jernite e Strubell, i modelli generativi multiuso costavano ordini di grandezza di più dei sistemi specifici per gli stessi compiti.
Errori comuni
- Confrontare per chiamata invece che per successo. Conti i nuovi tentativi e i fallimenti.
- Ignorare la lunghezza dell'output. Un modello che scrive il doppio può costare il doppio, qualunque sia la sua dimensione.
- Mescolare dati stimati e dati misurati nella stessa tabella senza dirlo.
Per il metodo completo, veda come misurare l'energia dell'IA; per leggere le valutazioni, veda leggere una valutazione AI Energy Score.
Fonti
- AI Energy Score, Hugging Face (2025)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
- CodeCarbon, CodeCarbon (2026)
- EcoLogits documentation, EcoLogits (2025)
Correlati
Come si legge una valutazione AI Energy Score?
Che cosa significano le valutazioni da una a cinque stelle dell'AI Energy Score, che cosa misurano, come usarle per confrontare modelli e che cosa non dicono.
Come misuro l'energia che l'IA consuma sul mio computer o sulla mia GPU?
Misuri l'energia dell'IA in locale con contatori hardware, telemetria della GPU o un misuratore a presa, per tutto il lavoro, sottraendo il consumo a riposo.
Come stimo l'energia consumata dalle mie chiamate alle API di IA?
Un'API di IA in hosting non si può misurare, ma si può stimare l'energia per chiamata da token e ipotesi sul modello con EcoLogits, e registrarla accanto al costo.
Come misurare l'energia e il carbonio dell'IA
Guida pratica per misurare o stimare energia e carbonio del lavoro di IA: strumenti, confini del sistema, metriche per attività e incertezza dichiarata.