W skrócie
Jeśli dane wejściowe to dane ustrukturyzowane lub krótki tekst z etykietami, a wynikiem jest liczba, kategoria lub ranking, najpierw warto wypróbować model klasyczny: model liniowy, drzewa wzmacniane gradientowo lub mały klasyfikator. Są one znacznie tańsze w działaniu, szybsze, łatwiejsze do wyjaśnienia i często równie dokładne. Po duży model językowy należy sięgać, gdy zadanie naprawdę wymaga swobodnego języka.
Kroki
- Zapisać typ danych wejściowych, typ wyniku i wymagany poziom jakości.
- Najpierw zbudować prosty punkt odniesienia, np. regułę, model liniowy lub drzewa wzmacniane gradientowo.
- Jeśli dane wejściowe to swobodny tekst, wypróbować mały, dostrojony klasyfikator.
- Testować LLM tylko wtedy, gdy punkty odniesienia nie osiągają wymaganego poziomu, i na tym samym zbiorze ewaluacyjnym.
- Przed wyborem porównać jakość, opóźnienie i energię na predykcję.
Należy używać najprostszego modelu, który spełnia wymagany poziom jakości. W przypadku danych ustrukturyzowanych i wąskich zadań etykietowania jest to zwykle klasyczny model uczenia maszynowego, a nie duży model językowy.
Dlaczego to ważne?
Luccioni, Jernite i Strubell zmierzyli energię działania modeli w wielu zadaniach. Klasyfikacja tekstu należała do najtańszych zadań: około 0,002 kWh na 1000 inferencji. Ogólne modele generatywne kosztowały natomiast o rzędy wielkości więcej niż modele dedykowane temu samemu zadaniu. Wytyczne W3C Web Sustainability Guidelines również zalecają zespołom ocenę, czy AI jest potrzebna, zanim zostanie wdrożona.
Brytyjski sandpit (intensywne warsztaty badawcze, na których naukowcy i przemysł wspólnie wypracowują pomysły na projekty) o zielonej AI z 2026 roku, w którym uczestniczyli matematycy, informatycy i przedstawiciele przemysłu, doszedł do tego samego wniosku z innej strony: ludzie często sięgają po AI, gdy dobrze znana metoda statystyczna lub numeryczna już wykonuje to zadanie.
Szybki test
| Zadanie | Co wypróbować najpierw |
|---|---|
| Przewidywanie liczby z danych tabelarycznych | Model liniowy lub drzewa wzmacniane gradientowo |
| Przypisanie jednej z kilku etykiet | Mały, dostrojony klasyfikator |
| Wyszukiwanie podobnych elementów | Embeddingi i indeks najbliższych sąsiadów |
| Prognozowanie szeregu czasowego | Sprawdzone statystyczne metody prognozowania |
| Pisanie, wyjaśnianie lub rozmowa | Tu LLM jest wart swojego kosztu |
Częste błędy
- Pomijanie punktu odniesienia. Bez niego nie wiadomo, czy LLM cokolwiek wnosi.
- Używanie LLM do etykietowania danych, na których potem nigdy nie trenuje się modelu. Należy użyć go raz do utworzenia etykiet, a następnie wytrenować mały model.
- Porównywanie wyłącznie dokładności. Należy uwzględnić opóźnienie, energię na predykcję i to, jak łatwo wyjaśnić błędy.
Więcej w częściach wybór właściwego modelu i matematyka dla wydajnej AI.
Źródła
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
- Web Sustainability Guidelines, W3C (2025)
Powiązane
Jak sprawdzić, czy do danego zadania w ogóle potrzebuję AI?
Szybki test, czy zadanie wymaga generatywnej AI, czy wyszukiwarka, kalkulator, szablon lub prosta reguła zrobią to szybciej i przy mniejszym zużyciu energii.
Jak znaleźć model dedykowany zadaniu zamiast ogólnego chatbota?
Jak znaleźć mały model stworzony do jednego zadania, np. klasyfikacji, ekstrakcji lub tłumaczenia, i sprawdzić, czy dorównuje chatbotowi przy mniejszej energii.
Wybór właściwego modelu do zadania
Jak dobrać AI do zadania: kiedy wystarczy mały lub wyspecjalizowany model, kiedy duży model jest wart kosztów, jak działa routing i kiedy obejść się bez AI.
Matematyka, która czyni AI bardziej efektywną
Przycinanie, rzadkość, szkicowanie, teoria macierzy losowych i modele oparte na fizyce: jak matematyka ogranicza obliczenia, pamięć i energię potrzebne AI.