W skrócie
Generowanie każdej odpowiedzi, linii kodu czy obrazu od zera przez duży model to najdroższy sposób korzystania z AI. Orkiestracja wykorzystuje AI do planowania i wyboru, a potem składa wynik z przetestowanych komponentów i kieruje każdy krok do najtańszego modelu, który sobie z nim poradzi. Najtańszy token to ten, którego nigdy się nie generuje.
Najważniejsze punkty
- Generowanie to najkosztowniejszy etap generatywnej AI; wybór i ponowne użycie istniejących, przetestowanych komponentów jest znacznie tańsze.
- Routing kieruje każde zapytanie do najmniejszego modelu, który sobie z nim poradzi, a opublikowane routery znacząco obniżają koszty przy niewielkiej utracie jakości.
- Wyszukiwanie (retrieval) dostarcza tylko istotny fragment dokumentu lub kodu źródłowego, więc model czyta mniej tokenów.
- Ponowne użycie sprawdzonych komponentów pomaga też w bezpieczeństwie i utrzymaniu: jedna poprawka trafia do każdego miejsca, w którym komponent jest używany.
- Routing ma haczyk: zbyt mały model może zawieść i wymusić kosztowną ponowną próbę na dużym.
Większość dyskusji o śladzie środowiskowym sztucznej inteligencji (AI) dotyczy tego, jak uczynić generowanie tańszym: mniejsze modele, szybsze chipy, czystsza energia. Inne pytanie brzmi: ile generowania w ogóle potrzeba. Orkiestracja odpowiada na nie, traktując generowanie jako ostateczność, a nie domyślne rozwiązanie.
Co oznacza „orkiestracja zamiast generowania”?
Oznacza wykorzystanie AI do zaplanowania zadania i wyboru elementów, a następnie zbudowanie wyniku głównie z rzeczy, które już istnieją i zostały sprawdzone. Duży model generuje coś nowego tylko wtedy, gdy nie ma nic odpowiedniego.
Wiele z tego, o co ludzie proszą generatywną AI, nie jest nowe. Oprogramowanie jest pełne tych samych wzorców: ekrany logowania, przesyłanie plików, obsługa dat, walidacja danych. Umowy powtarzają standardowe klauzule. Raporty powtarzają standardowe sekcje. Generowanie każdego z tych elementów od nowa, za każdym razem, powtarza koszt energetyczny i daje nieco inne wersje, z których każdą trzeba sprawdzić.
System z orkiestracją działa raczej jak dobrze zorganizowany zespół inżynierów:
- Planista ustala, czego wymaga zadanie.
- Tani klasyfikator lub wyszukiwarka znajduje istniejący, przetestowany komponent, który pasuje.
- Generowane są tylko naprawdę nowe części, przez najmniejszy model, który sobie z nimi poradzi.
- Nowo wygenerowane części są testowane i dodawane do biblioteki, aby kolejne zapytanie mogło z nich skorzystać.
Biblioteka działa jak bufor (cache). Uczestnicy brytyjskiego sandpitu (intensywnych warsztatów badawczych, na których naukowcy i przemysł wspólnie wypracowują pomysły na projekty) poświęconego zielonej AI w 2026 roku, czyli matematycy, informatycy i przedstawiciele przemysłu, omawiali ten wzorzec pod hasłem „najtańszy token to ten, którego nigdy się nie generuje”.
Dlaczego ponowne użycie miałoby oszczędzać energię?
Ponieważ wyszukanie i dostosowanie komponentu kosztuje drobny ułamek tego, co jego wygenerowanie, a przetestowane komponenty wymagają mniej poprawek. To przy generowaniu zużywa się tokeny, a więc większość energii inferencji (wnioskowania).
Koszt energetyczny treści pisanych przez AI nie jest błahy. Badanie King's College London (Cheung i współpracownicy, 2025), artykuł partnera projektu GreenCode, porównało rozwiązywanie zadań programistycznych ręcznie i z pomocą asystenta AI. Średnio dla tych zadań, którymi były problemy z konkursów programistycznych, generowanie kodu z pomocą AI miało 32,72 razy większy ślad węglowy niż podejście ręczne, a różnica rosła wraz ze złożonością zadań. Ponowne użycie uderza właśnie w ten koszt.
Korzyści wykraczają poza energię:
- Jakość. Sprawdzony komponent przetestowano raz i można mu ufać wiele razy.
- Bezpieczeństwo. Jeśli komponent okaże się wadliwy, wiadomo, w których miejscach jest używany, a jedna poprawka trafia do wszystkich.
- Utrzymanie. Kod zbudowany ze wspólnych części jest mniejszy i łatwiejszy do zrozumienia niż kod pełen niemal identycznych kopii.
Czym jest routing modeli?
Routing kieruje każde zapytanie do modelu, który najlepiej do niego pasuje, zwykle najmniejszego, który prawdopodobnie dobrze odpowie. Proste zapytania trafiają do małych, tanich modeli; trudne są przekazywane wyżej.
Opublikowane badania pokazują potencjał:
- FrugalGPT (Chen, Zaharia i Zou, 2023) łączył modele w łańcuch od tanich do drogich, zatrzymując się, gdy odpowiedź uznano za wystarczająco dobrą, i według autorów dorównywał wynikom GPT-4 przy kosztach niższych nawet o 98%.
- RouteLLM (Ong i współpracownicy, 2024) trenował routery na danych o preferencjach ludzi, aby rozstrzygały, kiedy zapytanie wymaga silnego modelu, i według autorów w niektórych przypadkach obniżał koszty o ponad połowę bez utraty jakości.
- Hybrid LLM (Ding i współpracownicy, 2024) kierował zapytania do małego lub dużego modelu według przewidywanej trudności i wykonywał nawet o 40% mniej wywołań dużego modelu bez spadku jakości odpowiedzi.
Te badania mierzą koszt, a nie bezpośrednio energię, ale przy tym samym dostawcy i sprzęcie mniej tokenów w dużych modelach na ogół oznacza mniej energii. Zob. wybór właściwego modelu.
Czym jest wyszukiwanie (retrieval) i dlaczego pomaga?
Wyszukiwanie odnajduje istotne informacje i przekazuje modelowi tylko je, zamiast kazać mu czytać lub przywoływać wszystko. Generowanie wspomagane wyszukiwaniem (RAG), wprowadzone przez Lewisa i współpracowników w 2020 roku, łączy etap wyszukiwania z generatorem.
Z punktu widzenia energii chodzi o liczbę tokenów. Przepuszczanie całych dokumentów lub całego kodu źródłowego przez okno kontekstowe modelu kosztuje energię przy każdym zapytaniu. GreenCode, europejski projekt badawczy (ITEA) poświęcony energooszczędnemu oprogramowaniu, korzysta z wyszukiwania w indeksie kodu źródłowego, tak aby „liczba tokenów odzwierciedlała zadanie, a nie repozytorium”, a do tego z małych modeli po fine-tuningu (dostrajaniu) i z routingu do najmniejszego wystarczającego komponentu.
Co pokazują prace GreenCode?
Że koszt korzystania z AI trzeba liczyć i że sposób działania agenta ma równie duże znaczenie jak wybór modelu. Ilustrują to dwa artykuły partnerów:
- EnergyBench (Ionescu, Jensen i Thomsen, 2025) ocenia kod wygenerowany przez AI zarówno pod kątem poprawności, jak i energii zużywanej podczas jego działania. Wykazano, że sformułowanie promptu (polecenia) mogło w niektórych przypadkach poprawić efektywność energetyczną wygenerowanego kodu nawet o 91,9%, ale często kosztem dokładności. Samo proszenie o zielony kod nie jest niezawodnym rozwiązaniem.
- GreenCode Constitution (Kapenekakis i współpracownicy, 2026) dała agentowi programistycznemu spisane zasady, najpierw poprawność, potem 37 energetycznych antywzorców, i kazała mu mierzyć energię przed każdą zmianą i po niej. W llama.cpp, już mocno dopracowanym silniku inferencji, obniżyła zużycie energii przez GPU o 4,7%. Oszczędność energii przewyższyła wzrost szybkości, co przypomina, że szybsze nie zawsze znaczy bardziej zielone, więc energię trzeba mierzyć bezpośrednio.
Własny potok przetwarzania GreenCode stosuje zasadę orkiestracji: preferuje małe modele wyspecjalizowane w zadaniach, wyszukiwanie i routing oraz przeprowadza wstępną ocenę, aby nie uruchamiać zadania, którego koszt inferencji by się nie zwrócił.
Co może pójść nie tak?
Routing i ponowne użycie oszczędzają energię tylko wtedy, gdy wybór jest trafny. Główne zagrożenia:
- Niedoszacowanie. Zbyt mały model może zawieść, a ponowna próba na większym modelu kosztuje więcej, niż gdyby od razu do niego trafić. W systemach agentowych, w których jeden błąd może wykoleić wiele kolejnych kroków, ma to jeszcze większe znaczenie. Ustalenie progu to prawdziwy problem projektowy.
- Nieaktualne biblioteki. Komponenty potrzebują właścicieli, testów i aktualizacji, inaczej ponowne użycie rozpowszechnia stare błędy.
- Ukryte koszty. Klasyfikator, indeks i etap wyszukiwania też zużywają energię. Zwykle są znacznie tańsze niż generowanie, ale je również należy mierzyć.
- Efekt odbicia (rebound effect). Tańsza AI zachęca do korzystania z większej ilości AI. Zob. efektywność to nie wystarczalność.
Co dalej
- Przed generowaniem warto poszukać: czy istnieje już przetestowany komponent, szablon lub wcześniejsza odpowiedź?
- Należy kierować zapytania według trudności; domyślnie używać małego modelu i w razie potrzeby przekazywać wyżej. Zob. efektywne korzystanie z AI.
- Warto korzystać z wyszukiwania, aby prompty były krótkie, zamiast wklejać całe dokumenty.
- Należy prowadzić bibliotekę sprawdzonych wyników, z testami i właścicielem, i stopniowo ją rozbudowywać.
- Warto mierzyć energię lub tokeny na ukończone zadanie, łącznie z ponownymi próbami, a nie na pojedyncze zapytanie.
- Przy uruchamianiu agentów wieloetapowych warto przeczytać tekst agentowa AI i marnowanie tokenów.
Najczęściej zadawane pytania
Czym jest orkiestracja w AI?
To koordynowanie kilku modeli, narzędzi i zapisanych komponentów w celu wykonania zadania, zamiast proszenia jednego dużego modelu o wygenerowanie całej odpowiedzi. Planista decyduje, co jest potrzebne; większość pracy wykonują tańsze elementy.
Czym jest routing modeli?
To kierowanie każdego zapytania do modelu, który najlepiej do niego pasuje, zwykle najmniejszego i najtańszego, który prawdopodobnie dobrze odpowie, i przekazywanie go do większego modelu tylko wtedy, gdy jest to potrzebne.
Czy routing obniża jakość?
Opublikowane systemy routingu wykazują duże oszczędności kosztów przy zachowaniu większości jakości najsilniejszego modelu, ale wynik zależy od zadania i od tego, jak dobrze router ocenia trudność.
Źródła
- FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
- Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- Green optimised generative AI, GreenCode (2026)
- Green AI and energy-aware computing, GreenCode (2026)
- Comparative analysis of carbon footprint in manual vs. LLM-assisted code development, Cheung, Kaul, Jahangirova, Mousavi and Zie, ResponsibleSE 2025 (ACM) (2025)
- EnergyBench: holistic benchmark for correct and energy-efficient LLM-generated code, Ionescu, Jensen and Thomsen, FLTA 2025 (2025)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
Powiązane
Wybór właściwego modelu do zadania
Jak dobrać AI do zadania: kiedy wystarczy mały lub wyspecjalizowany model, kiedy duży model jest wart kosztów, jak działa routing i kiedy obejść się bez AI.
Efektywne korzystanie z AI: codzienne nawyki
Codzienne nawyki, które ograniczają zużycie energii przez AI: jasne prompty, mniej ponownych generowań, umiar z obrazami i wideo, buforowanie, wyłączanie.
Agentowa AI i marnowanie tokenów
Dlaczego agenci AI mogą zużywać wielokrotnie więcej tokenów i energii niż czat, jak pętle je marnują i jakie zabezpieczenia trzymają agentów w ryzach.
Matematyka, która czyni AI bardziej efektywną
Przycinanie, rzadkość, szkicowanie, teoria macierzy losowych i modele oparte na fizyce: jak matematyka ogranicza obliczenia, pamięć i energię potrzebne AI.