W skrócie
Należy precyzyjnie nazwać zadanie, a następnie przeszukać repozytorium modeli, np. Hugging Face, według typu zadania i przetestować dwóch lub trzech małych kandydatów na własnych przykładach. Model stworzony do jednego zadania może być o rzędy wielkości tańszy w działaniu niż ogólny model generatywny wykonujący to samo zadanie. Warto więc poświęcić popołudnie na testy, zanim wybierze się chatbota.
Kroki
- Opisać zadanie w jednym zdaniu, np. „sortowanie e-maili do działu wsparcia w sześciu kategoriach”.
- Przeszukać repozytorium modeli z filtrem według typu zadania, np. klasyfikacji tekstu lub tłumaczenia.
- Wybrać dwa lub trzy małe modele i sprawdzić ich licencje oraz obsługiwane języki.
- Przetestować każdy z nich na 50–100 własnych, rzeczywistych przykładach z ustalonym progiem zaliczenia.
- Porównać energię na zapytanie, jeśli istnieje ocena, a model ogólny zostawić tylko dla przypadków, które się nie powiodły.
Do dobrze zdefiniowanych zadań model wytrenowany do danego zadania jest zwykle tańszy i często równie dobry. Ogólny chatbot przy każdym zapytaniu płaci za umiejętności, z których dane zadanie nigdy nie korzysta.
Dlaczego to ważne?
Luccioni, Jernite i Strubell porównali wiele modeli w popularnych zadaniach. Ustalili, że wielozadaniowe modele generatywne są o rzędy wielkości droższe w działaniu niż systemy dedykowane tym samym zadaniom. UNESCO i University College London podają, że małe modele dedykowane zadaniom mogą zmniejszyć zużycie energii nawet o 90%.
Gdzie szukać?
Należy zacząć od publicznego repozytorium modeli i szukać według zadania, a nie marki. Hugging Face pozwala na przykład filtrować modele według zadania, takiego jak klasyfikacja tekstu, rozpoznawanie nazw własnych, streszczanie, tłumaczenie czy rozpoznawanie mowy. Warto szukać:
- modeli dostrojonych na danych podobnych do własnych (ten sam język, ten sam rodzaj tekstu);
- przejrzystej karty modelu (model card), która podaje, na czym model był trenowany i jak go oceniano;
- rozmiaru, na którego uruchamianie można sobie pozwolić, mierzonego w parametrach.
Do porównywania energii służy AI Energy Score, który ocenia modele pod względem energii GPU w dziesięciu popularnych zadaniach, w skali od jednej do pięciu gwiazdek.
Częste błędy
- Ocenianie wyłącznie na podstawie publicznych benchmarków. Należy testować na własnych przykładach; tylko ten wynik ma znaczenie w danym przypadku.
- Zlecanie chatbotowi masowej klasyfikacji. Przy etykietowaniu tysięcy elementów mały klasyfikator jest szybszy i tańszy.
- Zapominanie o rozwiązaniu zapasowym. Większy model warto zachować dla trudnych przypadków; zob. jak kierować zapytania do mniejszych modeli.
Pełną metodę opisano w części wybór właściwego modelu.
Źródła
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- AI Energy Score, Hugging Face (2025)
Powiązane
Jak wybrać mniejszy model AI?
Jak wybrać najmniejszy model AI, który dobrze wykonuje zadanie: ustalić próg jakości, testować od małych do dużych, sprawdzić oceny energii, mieć duży model w rezerwie.
Jak ocenić, czy zamiast LLM wystarczy klasyczne uczenie maszynowe?
Szybki test dla analityków danych: kiedy regresja, model drzewiasty lub mały klasyfikator wygrywa z dużym modelem językowym pod względem kosztu i energii.
Jak porównać zużycie energii przez różne modele AI?
Jak uczciwie porównać modele AI pod kątem energii: korzystając z benchmarków takich jak AI Energy Score lub mierząc je samodzielnie w tych samych warunkach.
Wybór właściwego modelu do zadania
Jak dobrać AI do zadania: kiedy wystarczy mały lub wyspecjalizowany model, kiedy duży model jest wart kosztów, jak działa routing i kiedy obejść się bez AI.