W skrócie
Należy określić na prawdziwych przykładach, co znaczy „wystarczająco dobrze”, a potem testować modele od najmniejszego do największego i zatrzymać się na pierwszym, który spełnia wymagania. Małe modele dedykowane zadaniom mogą zużywać ułamek energii dużych modeli ogólnych: UNESCO i University College London podają oszczędności sięgające 90% w odpowiednich zadaniach.
Kroki
- Zapisać zadanie i próg zaliczenia, np. odsetek odpowiedzi, które muszą być poprawne.
- Zebrać od 20 do 50 prawdziwych przykładów do testów.
- Najpierw wypróbować najmniejszy model lub wersję „mini”, a większy wybierać tylko wtedy, gdy mniejszy nie osiąga progu.
- Sprawdzić publiczne oceny energii, np. AI Energy Score, jeśli są dostępne.
- Zachować większy model na przypadki, z którymi mały sobie nie radzi.
- Testować ponownie, gdy zmieniają się modele lub zadanie.
Należy używać najmniejszego modelu, który spełnia próg jakości, a nie najbardziej zaawansowanego z dostępnych. Duży model ogólny przy każdym zapytaniu płaci za umiejętności, których dane zadanie może nigdy nie potrzebować.
Dlaczego rozmiar modelu ma tak duże znaczenie?
Zwykle to największa pojedyncza dźwignia w zużyciu energii. Luccioni, Jernite i Strubell ustalili, że wielozadaniowe modele generatywne są o rzędy wielkości droższe w działaniu niż systemy dedykowane tym samym zadaniom. UNESCO i University College London ustaliły, że małe modele dopasowane do konkretnych zadań mogą obniżyć zużycie energii nawet o 90%.
Jak testować kandydatów?
- Określić próg na własnej pracy, np. „poprawnie odczytuje kwotę faktury w 98% przypadków”.
- Zaczynać od małych. Wielu dostawców oferuje wersje „mini”, „lite” lub „flash”; rodziny modeli o otwartych wagach występują w kilku rozmiarach.
- Zatrzymać się na pierwszym, który zaliczy test. W wąskich zadaniach większy model nie jest automatycznie dokładniejszy.
- Porównywać energię, nie tylko cenę. AI Energy Score od Hugging Face ocenia otwarte modele w skali od jednej do pięciu gwiazdek według energii na zapytanie w typowych zadaniach; zob. jak czytać ocenę AI Energy Score.
Ta sama zasada dotyczy zwykłych użytkowników: przy prostych pytaniach warto wybierać w chatbocie szybszą lub lżejszą opcję.
Częste błędy
- Wybór według renomy zamiast testów na własnych przykładach.
- Mierzenie kosztu na wywołanie, a nie na udany wynik. Model zbyt mały, który zawodzi i wymusza ponowne uruchomienie na dużym, może w sumie kosztować więcej.
- Brak ponownej oceny. Małe modele szybko się poprawiają; warto testować je ponownie co kilka miesięcy.
Aby automatycznie kierować każde zapytanie do modelu właściwego rozmiaru, zob. kierowanie zapytań do mniejszych modeli. Pełna metoda jest opisana w części wybór właściwego modelu.
Źródła
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
- AI Energy Score, Hugging Face (2025)
Powiązane
Wybór właściwego modelu do zadania
Jak dobrać AI do zadania: kiedy wystarczy mały lub wyspecjalizowany model, kiedy duży model jest wart kosztów, jak działa routing i kiedy obejść się bez AI.
Jak znaleźć model dedykowany zadaniu zamiast ogólnego chatbota?
Jak znaleźć mały model stworzony do jednego zadania, np. klasyfikacji, ekstrakcji lub tłumaczenia, i sprawdzić, czy dorównuje chatbotowi przy mniejszej energii.
Jak kierować zapytania do mniejszych modeli?
Jak kierować rutynowe zapytania do małego modelu, a tylko trudne do dużego, i jak dostroić router, by ponowne próby nie zjadły oszczędności.
Jak porównać zużycie energii przez różne modele AI?
Jak uczciwie porównać modele AI pod kątem energii: korzystając z benchmarków takich jak AI Energy Score lub mierząc je samodzielnie w tych samych warunkach.