In breve
Generare da zero ogni risposta, riga di codice o immagine con un modello grande è il modo più costoso di usare l'IA. L'orchestrazione usa l'IA per pianificare e scegliere, poi assembla il risultato da componenti collaudati e instrada ogni passaggio al modello più economico in grado di svolgerlo. Il token più economico è quello che non si genera mai.
Punti chiave
- Nell'IA generativa la generazione è il passaggio costoso; scegliere e riusare componenti esistenti e collaudati costa molto meno.
- L'instradamento (routing) manda ogni richiesta al modello più piccolo in grado di gestirla, e i router pubblicati riducono molto i costi con poca perdita di qualità.
- Il recupero di informazioni (retrieval) fornisce solo il frammento rilevante di un documento o di una base di codice, così il modello legge meno token.
- Riusare componenti verificati aiuta anche la sicurezza e la manutenzione: una sola correzione arriva in ogni punto in cui il componente è usato.
- L'instradamento ha un rovescio: un modello troppo piccolo può fallire e costringere a un costoso nuovo tentativo su un modello grande.
Gran parte del dibattito sull'impronta dell'IA si chiede come rendere la generazione più economica: modelli più piccoli, chip più veloci, energia più pulita. Una domanda diversa è quanta generazione serva davvero. L'orchestrazione risponde trattando la generazione come ultima risorsa invece che come scelta predefinita.
Che cosa significa "orchestrare invece di generare"?
Significa usare l'IA per pianificare un compito e scegliere le parti, poi costruire il risultato soprattutto con elementi che esistono già e sono stati verificati. A un modello grande si chiede di generare qualcosa di nuovo solo quando non esiste nulla di adatto.
Buona parte di ciò che si chiede all'IA generativa non è nuovo. Il software è pieno degli stessi schemi: schermate di accesso, caricamento di file, gestione delle date, convalida dei dati. I contratti riusano clausole standard. I rapporti riusano sezioni standard. Generare ciascuno di questi elementi da capo, ogni volta, ripete il costo energetico e produce versioni leggermente diverse, ognuna da controllare.
Un sistema orchestrato funziona più come un gruppo di ingegneri ben organizzato:
- Un pianificatore stabilisce che cosa richiede il compito.
- Un classificatore o una ricerca a basso costo trova un componente esistente e collaudato adatto.
- Si generano solo le parti davvero nuove, con il modello più piccolo in grado di farlo.
- Le parti appena generate vengono collaudate e aggiunte alla libreria, così la richiesta successiva può riusarle.
La libreria si comporta come una cache. Un sandpit (laboratorio di ricerca collaborativa) britannico sull'IA verde del 2026, con matematici, informatici e industria, ha discusso questo schema sotto il titolo "il token più economico è quello che non si genera mai".
Perché il riuso farebbe risparmiare energia?
Perché recuperare e adattare un componente costa una minima frazione di quanto costa generarlo, e i componenti collaudati richiedono meno lavoro da rifare. È nella generazione che si spendono i token, e quindi la maggior parte dell'energia di inferenza.
Il costo energetico dei contenuti scritti dall'IA non è trascurabile. Uno studio del King's College London (Cheung e colleghi, 2025), articolo di un partner del progetto GreenCode, ha confrontato la soluzione di esercizi di programmazione a mano e con un assistente di IA. In media sugli esercizi, problemi di gare di programmazione, la generazione di codice assistita dall'IA ha avuto un'impronta di carbonio 32,72 volte quella dell'approccio manuale, e il divario cresceva con la complessità dei compiti. Il riuso colpisce proprio quel costo.
I vantaggi vanno oltre l'energia:
- Qualità. Un componente verificato è stato collaudato una volta e ci si può fidare di lui molte volte.
- Sicurezza. Se un componente si rivela difettoso, si conoscono tutti i punti in cui è usato, e una sola correzione li raggiunge tutti.
- Manutenzione. Una base di codice costruita con parti condivise è più piccola e più facile da capire di una piena di quasi-duplicati.
Che cos'è l'instradamento tra modelli?
L'instradamento (routing) manda ogni richiesta al modello più adatto, di solito il più piccolo che probabilmente risponderà bene. Le richieste semplici vanno a modelli piccoli ed economici; quelle difficili vengono passate a modelli più grandi.
La ricerca pubblicata mostra il potenziale:
- FrugalGPT (Chen, Zaharia e Zou, 2023) ha messo in catena modelli dal più economico al più costoso, fermandosi quando una risposta era giudicata abbastanza buona, e ha riportato prestazioni pari a GPT-4 con costi inferiori fino al 98%.
- RouteLLM (Ong e colleghi, 2024) ha addestrato router su dati di preferenza umana per decidere quando una richiesta ha bisogno di un modello potente, e ha riportato in alcuni casi costi più che dimezzati senza perdita di qualità.
- Hybrid LLM (Ding e colleghi, 2024) ha instradato le richieste tra un modello piccolo e uno grande in base alla difficoltà prevista, con fino al 40% di chiamate in meno al modello grande e senza calo della qualità delle risposte.
Questi studi misurano il costo, non direttamente l'energia, ma a parità di fornitore e hardware meno token sui modelli grandi significano in genere meno energia. Veda scegliere il modello giusto.
Che cos'è il recupero di informazioni e perché aiuta?
Il recupero (retrieval) cerca le informazioni pertinenti e fornisce al modello solo quelle, invece di fargli leggere o ricordare tutto. La generazione aumentata dal recupero (RAG), introdotta da Lewis e colleghi nel 2020, combina una fase di ricerca con un generatore.
Per l'energia, il punto è il numero di token. Far passare interi documenti o basi di codice nella finestra di contesto di un modello costa energia a ogni richiesta. GreenCode, un progetto di ricerca europeo (ITEA) sul software efficiente dal punto di vista energetico, usa il recupero da un indice della base di codice in modo che "il numero di token rifletta il compito e non il repository", insieme a piccoli modelli specializzati e all'instradamento verso il componente adatto più piccolo.
Che cosa mostra il lavoro di GreenCode?
Che il costo dell'uso dell'IA va contato, e che il modo in cui lavora un agente conta quanto il modello che usa. Due articoli dei partner lo illustrano:
- EnergyBench (Ionescu, Jensen e Thomsen, 2025) valuta il codice generato dall'IA sia per la correttezza sia per l'energia che consuma quando viene eseguito. Ha rilevato che la formulazione del prompt poteva migliorare l'efficienza energetica del codice generato fino al 91,9% in alcuni casi, ma spesso a scapito dell'accuratezza. Chiedere codice "verde" nel prompt non è, da solo, una soluzione affidabile.
- La GreenCode Constitution (Kapenekakis e colleghi, 2026) ha dato a un agente di programmazione principi scritti, prima la correttezza, poi 37 anti-pattern energetici, e gli ha fatto misurare l'energia prima e dopo ogni modifica. Su llama.cpp, un motore di inferenza già molto ottimizzato, ha ridotto l'energia della GPU del 4,7%. Il risparmio di energia ha superato il guadagno di velocità: un promemoria che più veloce non significa sempre più verde, quindi l'energia va misurata direttamente.
La pipeline di GreenCode applica il principio dell'orchestrazione: preferisce piccoli modelli specifici per il compito, il recupero e l'instradamento, ed esegue una valutazione preliminare in modo da non avviare un lavoro il cui costo di inferenza non verrebbe ripagato.
Che cosa può andare storto?
Instradamento e riuso fanno risparmiare energia solo se scelgono bene. I rischi principali:
- Sottodimensionamento. Un modello troppo piccolo può fallire, e il nuovo tentativo su un modello più grande costa più che rivolgersi subito a quello. Nei sistemi agentici, dove un errore può far deragliare molti passaggi successivi, questo conta ancora di più. Fissare la soglia è un vero problema di progettazione.
- Librerie obsolete. I componenti hanno bisogno di responsabili, test e aggiornamenti, altrimenti il riuso diffonde vecchi errori.
- Costi nascosti. Il classificatore, l'indice e la fase di recupero consumano tutti energia. Di solito costano molto meno della generazione, ma vanno misurati anch'essi.
- Effetto rimbalzo. Un'IA più economica invita a usare più IA. Veda l'efficienza non è sufficienza.
Che cosa fare adesso
- Prima di generare, cerchi: esiste già un componente collaudato, un modello di documento o una risposta precedente?
- Instradi le richieste in base alla difficoltà; usi per impostazione predefinita un modello piccolo e passi a uno più grande solo se serve. Veda usare l'IA in modo efficiente.
- Usi il recupero di informazioni per mantenere brevi i prompt, invece di incollare documenti interi.
- Tenga una libreria di risultati verificati, con test e un responsabile, e la arricchisca man mano.
- Misuri l'energia o i token per compito completato, tentativi ripetuti compresi, non per richiesta.
- Legga IA agentica e spreco di token se utilizza agenti a più passaggi.
Domande frequenti
Che cos'è l'orchestrazione nell'IA?
È il coordinamento di più modelli, strumenti e componenti salvati per completare un compito, invece di chiedere a un unico modello grande di generare l'intera risposta. Un pianificatore decide che cosa serve; parti più economiche svolgono la maggior parte del lavoro.
Che cos'è l'instradamento tra modelli (model routing)?
È l'invio di ogni richiesta al modello più adatto, di solito il più piccolo ed economico che probabilmente risponderà bene, passando a un modello più grande solo quando serve.
L'instradamento riduce la qualità?
I sistemi di instradamento pubblicati riportano forti risparmi sui costi mantenendo gran parte della qualità del modello più potente, ma il risultato dipende dal compito e da quanto bene il router valuta la difficoltà.
Fonti
- FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
- Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- Green optimised generative AI, GreenCode (2026)
- Green AI and energy-aware computing, GreenCode (2026)
- Comparative analysis of carbon footprint in manual vs. LLM-assisted code development, Cheung, Kaul, Jahangirova, Mousavi and Zie, ResponsibleSE 2025 (ACM) (2025)
- EnergyBench: holistic benchmark for correct and energy-efficient LLM-generated code, Ionescu, Jensen and Thomsen, FLTA 2025 (2025)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
Correlati
Scegliere il modello giusto per il compito
Come dimensionare bene l'IA: quando usare modelli piccoli o specializzati, quando un modello di frontiera vale il suo costo, come funziona il routing e quando non usare l'IA.
Usare l'IA in modo efficiente: abitudini quotidiane
Abitudini quotidiane che riducono l'energia dell'IA: prompt chiari, meno rigenerazioni, cautela con immagini e video, caching e funzioni predefinite spente.
IA agentica e spreco di token
Perché gli agenti di IA possono consumare molte volte i token e l'energia di una chat, come i loop li sprecano e quali limiti li mantengono proporzionati.
La matematica che rende l'IA più efficiente
Pruning, sparsità, sketching, teoria delle matrici aleatorie e modelli informati dalla fisica: come la matematica riduce calcolo, memoria ed energia dell'IA.