greenai.guide

Strona główna › Dobre praktyki › Wybór właściwego modelu do zadania

Dobre praktyki

Wybór właściwego modelu do zadania

Aktualizacja · Czas czytania: 5 min

W skrócie

Należy używać najmniejszego modelu albo najprostszej metody bez AI, która spełnia przyjęty próg jakości, a duże modele ogólne zostawić dla przypadków, które ich naprawdę wymagają. Modele dedykowane konkretnym zadaniom mogą zużywać ułamek energii potrzebnej ogólnym modelom generatywnym, a routing pozwala czerpać większość korzyści z obu.

Najważniejsze punkty

  • Najpierw warto zapytać, czy zadanie w ogóle wymaga AI; reguły, wyszukiwanie lub klasyczny algorytm często wystarczą.
  • Modele dedykowane konkretnym zadaniom okazały się o rzędy wielkości tańsze w działaniu niż wielozadaniowe modele generatywne wykonujące te same zadania.
  • UNESCO i UCL podają, że małe modele dedykowane zadaniom mogą obniżyć zużycie energii nawet o 90%.
  • Routing kieruje łatwe zapytania do małych modeli, a trudne do dużych; progi trzeba ustawić ostrożnie, bo nieudana próba małego modelu plus ponowienie mogą kosztować więcej.
  • Potoki hybrydowe wykorzystują w większości kroków metody klasyczne lub oparte na fizyce, a małą sieć neuronową tylko tam, gdzie wnosi wartość.

Dlaczego wybór modelu ma tak duże znaczenie?

Wybór modelu jest zwykle największą pojedynczą dźwignią wpływającą na zużycie energii przez funkcję opartą na sztucznej inteligencji (AI). To samo zadanie mogą wykonać modele, których koszty działania różnią się o rzędy wielkości.

W systematycznym porównaniu opublikowanym na konferencji ACM FAccT 2024 Luccioni, Jernite i Strubell zmierzyli energię potrzebną do wykonania 1000 inferencji (wnioskowań) w wielu zadaniach i modelach. Okazało się, że wielozadaniowe modele generatywne są o rzędy wielkości droższe niż systemy dedykowane konkretnym zadaniom, nawet przy uwzględnieniu rozmiaru modelu. Raport UNESCO i UCL z 2025 roku wykazał, że małe modele dopasowane do konkretnych zadań mogą obniżyć zużycie energii nawet o 90%.

Mechanizm jest prosty: model ogólny płaci przy każdym zapytaniu za wiedzę i umiejętności, których dane zadanie nigdy nie wykorzystuje.

Czy to zadanie w ogóle wymaga AI?

Najpierw należy sprawdzić, czy zadania nie wykonuje już metoda bez AI. Najtańsza inferencja to ta, której się nigdy nie uruchamia.

Do tej kwestii wielokrotnie wracali uczestnicy brytyjskiego sandpitu poświęconego zielonej AI w 2026 roku (sandpit to intensywne warsztaty badawcze, na których naukowcy i przemysł wspólnie wypracowują pomysły na projekty), w którym udział wzięli matematycy, informatycy i przedstawiciele przemysłu: często sięga się po AI, choć istnieje już dobrze poznany algorytm, a najbardziej ekologiczne obliczenie to często to, którego udaje się uniknąć. Również W3C Web Sustainability Guidelines zalecają zespołom, by przed wdrożeniem AI ocenić, czy jest ona potrzebna.

Warto zapytać:

  • Czy wystarczy reguła, tabela wyszukiwania lub wyrażenie regularne?
  • Czy na pytanie może odpowiedzieć wyszukiwanie we własnych treściach?
  • Czy istnieje uznana metoda numeryczna lub statystyczna (optymalizator, regresja, solver)?
  • Czy odpowiedź musi być dokładnie odtwarzalna lub audytowalna? Metody deterministyczne łatwiej sprawdzić.
  • Jak często funkcja będzie uruchamiana? Funkcja używana miliony razy zasługuje na więcej pracy projektowej niż jednorazowe zadanie.

AI nie jest darmowa, nawet gdy oszczędza czas. Badanie z 2025 roku, porównujące ręczne i wspomagane przez AI programowanie w 12 zadaniach, wykazało, że podejście z AI miało średnio około 33 razy większy ślad węglowy niż podejście ręczne, a różnica rosła wraz z trudnością zadań. Nie oznacza to, że asystentów nie należy używać nigdy; oznacza, że warto używać ich tam, gdzie wyraźnie się opłacają.

Mały, wyspecjalizowany czy czołowy?

Model należy dopasować do zadania, a nie do najbardziej zaawansowanego dostępnego narzędzia.

Rodzaj zadania Zwykle wystarczy Kiedy sięgnąć po większy
Klasyfikacja, tagowanie, routing, wykrywanie spamu lub nastroju Mały klasyfikator dedykowany zadaniu Rzadko
Wyodrębnianie pól z dokumentów Mały lub dostrojony model albo reguły Nieuporządkowane, zróżnicowane układy
Wyszukiwanie i odpowiadanie na pytania na podstawie własnych treści Wyszukiwanie (retrieval) plus mały lub średni model Złożone wnioskowanie na podstawie wielu dokumentów
Tłumaczenie, streszczanie Średni lub wyspecjalizowany model Teksty o wysokiej stawce lub pełne niuansów
Otwarte rozumowanie, planowanie, trudny kod Duży model ogólny Tu jest wart swojej ceny

Wyspecjalizowane małe modele można uzyskać na kilka sposobów, opisanych w części efektywne trenowanie i inferencja:

  • Destylacja wiedzy: duży model „nauczyciel” trenuje mały model „ucznia”. DistilBERT był o 40% mniejszy od BERT i o 60% szybszy, zachowując 97% jego zdolności rozumienia języka.
  • Dostrajanie (fine-tuning) małego modelu na danych z własnego zadania.
  • Skwantyzowane wersje istniejącego modelu, które potrzebują mniej pamięci i energii.

Tam, gdzie istnieją publiczne benchmarki, warto porównywać kandydatów pod względem energii, a nie tylko jakości. AI Energy Score serwisu Hugging Face ocenia modele według energii GPU na 1000 zapytań w dziesięciu typowych zadaniach, przyznając od jednej do pięciu gwiazdek w porównaniu z innymi modelami wykonującymi to samo zadanie.

Jak działa routing modeli?

Router wysyła każde zapytanie do najtańszego modelu, który prawdopodobnie dobrze na nie odpowie, a do większego przekazuje je tylko w razie potrzeby.

Typowe rozwiązania:

  1. Najpierw klasyfikator: mały model lub zestaw reguł przewiduje, jak trudne jest zapytanie, i wybiera model.
  2. Kaskada: najpierw próbuje mały model; jeśli jego pewność jest niska lub test kontrolny nie przejdzie, zapytanie trafia do większego.
  3. Router uczony: trenowany na przykładach pokazujących, który model dobrze poradził sobie z którym zapytaniem. Badanie RouteLLM wykazało w niektórych przypadkach obniżenie kosztów o ponad połowę bez spadku jakości odpowiedzi.

Próg należy ustawić ostrożnie

Uczestnicy sandpitu zwrócili uwagę na ważne zastrzeżenie: w systemach agentowych zbyt mały model może zawieść, co wymusza ponowne uruchomienie na dużym modelu. Nieudana tania próba plus kosztowne ponowienie mogą kosztować więcej niż skierowanie zapytania od razu do dużego modelu. Dlatego należy:

  • mierzyć łączny koszt na jedno udane zadanie, a nie na jedno wywołanie;
  • dostroić próg eskalacji na własnych danych;
  • rejestrować, jak często zapytania są eskalowane, i wracać do tego, gdy zmieniają się modele;
  • umieścić decyzję o routingu w systemie, a nie zostawiać jej użytkownikowi końcowemu.

Czym są potoki hybrydowe?

Potoki hybrydowe wykorzystują w większości kroków metody klasyczne, oparte na fizyce lub na regułach, a mały model tylko tam, gdzie wnosi wartość. Często są tańsze, dokładniejsze i bardziej godne zaufania niż podejście w pełni neuronowe.

Przykłady:

  • Model fizyczny lub numeryczny przeprowadza symulację, a mały wyuczony komponent zastępuje tylko jej najbardziej kosztowną część (tzw. model zastępczy, „surrogate”).
  • Kod deterministyczny odpowiada za parsowanie, walidację i formatowanie, a model ocenia wyłącznie swobodny tekst.
  • Model generatywny planuje lub wybiera, ale wynik jest składany z biblioteki wcześniej sprawdzonych komponentów, zamiast za każdym razem generować go od nowa. Więcej w artykule orkiestracja zamiast generowania.

Podczas sandpitu dyskutowano też o wbudowywaniu w modele struktury matematycznej lub fizycznej (symetrii, praw zachowania, wypukłości), tak aby potrzebowały mniej parametrów i mniej trenowania. Więcej w artykule matematyka dla efektywnej AI.

Lista kontrolna

  • [ ] Najprostsza metoda bez AI opisana i przetestowana w pierwszej kolejności
  • [ ] Próg jakości określony na podstawie własnych, rzeczywistych przypadków
  • [ ] Co najmniej jeden mały lub dedykowany zadaniu model przetestowany względem tego progu
  • [ ] Energia na zapytanie porównana dla każdego kandydata, mierzona w ten sam sposób
  • [ ] Duży model używany tylko tam, gdzie mały nie osiąga progu
  • [ ] Koszt routingu mierzony na udane zadanie, z uwzględnieniem ponowień
  • [ ] Decyzja zapisana wraz z datą jej przeglądu

Co zrobić dalej

  1. Spisać funkcje AI i zaznaczyć, które mogłyby korzystać z mniejszego modelu, metody klasycznej lub obyć się bez AI.
  2. Przygotować mały zestaw ewaluacyjny z rzeczywistych przypadków wraz z progiem zaliczenia.
  3. Przetestować na nim dwa lub trzy rozmiary modeli i zmierzyć zużycie energii każdego z nich.
  4. Pilotażowo wdrożyć routing w jednej funkcji o dużym wolumenie i śledzić koszt na udane zadanie.
  5. Wpisać zasadę „używaj najmniejszego modelu, który spełnia próg” do polityki zielonej AI.
  6. Zapytać dostawców, jakie rozmiary modeli oferują i jakie jest ich zużycie energii na zapytanie; więcej w części zrównoważone zakupy AI.

Najczęściej zadawane pytania

Czy małe modele językowe są wystarczająco dobre?

W wielu dobrze zdefiniowanych zadaniach, takich jak klasyfikacja, ekstrakcja danych i routing, tak. Przed decyzją należy je przetestować na własnych przypadkach względem jasno określonego progu jakości.

Czym jest routing modeli?

Router analizuje każde zapytanie i wysyła je do najtańszego modelu, który prawdopodobnie dobrze sobie z nim poradzi, a do większego modelu przekazuje je tylko w razie potrzeby. Opublikowane routery w niektórych testach obniżyły koszty o ponad połowę bez spadku jakości.

Kiedy nie należy używać AI?

Gdy reguła, tabela wyszukiwania, wyszukiwarka lub uznana metoda numeryczna już niezawodnie wykonuje zadanie. Takie rozwiązania są zwykle tańsze, szybsze, bardziej przewidywalne i łatwiejsze do sprawdzenia.

Czy większy model jest zawsze dokładniejszy?

Nie. W wąskich zadaniach dostrojony (fine-tuning) lub destylowany mały model może dorównać modelowi ogólnemu albo go przewyższyć, a jego błędy są często łatwiejsze do zrozumienia.

Źródła

  1. Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT 2024 (arXiv 2311.16863) (2024)
  2. AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO (2025)
  3. RouteLLM: Learning to Route LLMs with Preference Data, Ong et al. (arXiv 2406.18665) (2024)
  4. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
  5. Comparative Analysis of Carbon Footprint in Manual vs. LLM-Assisted Code Development, arXiv 2505.04521 (2025)
  6. Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
  7. AI Energy Score, Hugging Face (2025)
  8. Web Sustainability Guidelines, W3C (2025)

Dołącz do nas

Pomóżmy zmniejszyć wpływ AI na planetę

Nowe przewodniki, nabory wniosków i wpisy w katalogach e-mailem, mniej więcej raz w miesiącu. Można też dodać do katalogów swój produkt, kurs, ofertę studiów doktoranckich lub badania.

Bez śledzenia. Rezygnacja jednym kliknięciem. Inne sposoby dołączenia · Prywatność