W skrócie
Należy zacząć od najmniejszego modelu, który może spełnić wymagany poziom jakości, a następnie dalej go zmniejszać przez destylację, kwantyzację i przycinanie (pruning), testując każdy krok na urządzeniu docelowym. Energię na jedno wnioskowanie, opóźnienie i dokładność trzeba mierzyć razem na rzeczywistym sprzęcie, a model powinien przechodzić na lżejszy tryb, gdy bateria jest słaba lub urządzenie się nagrzewa.
Kroki
- Określić wymagany poziom jakości oraz budżet pamięci, opóźnienia i energii dla urządzenia docelowego.
- Zacząć od małego lub destylowanego modelu, zamiast zmniejszać duży model ogólny.
- Skwantyzować wagi do 8 lub 4 bitów i sprawdzić dokładność na własnych przypadkach testowych.
- Przyciąć wagi o niewielkim znaczeniu, a potem ponownie przetestować model na urządzeniu.
- Mierzyć razem energię na jedno wnioskowanie, opóźnienie i dokładność na rzeczywistym sprzęcie.
- Przełączać się na mniejszy model lub rzadsze wnioskowanie, gdy bateria jest słaba lub urządzenie się nagrzewa.
Należy połączyć mały model wyjściowy z destylacją, kwantyzacją i przycinaniem, a każdy krok oceniać na samym urządzeniu. Urządzenia brzegowe mają mało pamięci i często działają na baterii, więc zbyt duży model albo się nie zmieści, albo rozładuje urządzenie i spowoduje dławienie wydajności. Właściwy rozmiar oznacza też, że dane nie muszą być wysyłane do chmury.
Które techniki najbardziej zmniejszają model?
- Destylacja trenuje mały model „ucznia”, by naśladował duży model „nauczyciela”. DistilBERT był o 40% mniejszy i o 60% szybszy od BERT, zachowując 97% jego zdolności rozumienia języka.
- Kwantyzacja zapisuje wagi na mniejszej liczbie bitów. Dokumentacja Hugging Face podaje przykład modelu o 8 miliardach parametrów, którego wagi wymagają około 16 GB przy precyzji 16-bitowej, około 8 GB przy 8 bitach i około 4–5 GB przy 4 bitach, kosztem pewnej utraty dokładności. Zob. jak skwantyzować model.
- Przycinanie (pruning) usuwa wagi, które prawie nie wpływają na wynik. Zob. jak przyciąć sieć neuronową.
Jak model powinien działać na urządzeniu?
Wzorzec edge AI Green Software Foundation zaleca śledzenie razem energii na jedno wnioskowanie, opóźnienia i dokładności oraz dostosowywanie się do warunków: mniejszy model lub rzadsze wnioskowanie, gdy bateria jest słaba lub urządzenie się nagrzewa.
Częste błędy
- Testowanie tylko na laptopie. Akceleratory, pamięć i limity termiczne są inne; należy mierzyć na sprzęcie docelowym.
- Zmniejszanie poniżej wymaganego poziomu jakości. Model, który zawodzi i musi awaryjnie odwoływać się do chmury, może kosztować więcej, niż oszczędza.
- Ciągłe wnioskowanie. Tam, gdzie to możliwe, należy je uruchamiać przy zdarzeniach, a nie co klatkę czy co sekundę.
To, czy bardziej ekologiczne jest urządzenie brzegowe, czy chmura, zależy od przypadku: zob. urządzenie brzegowe czy chmura oraz AI na urządzeniach brzegowych.
Źródła
- Optimize power consumption for edge AI inference, Green Software Foundation, Green Software Patterns (2025)
- Run AI models at the edge, Green Software Foundation, Green Software Patterns (2025)
- Quantization overview, Hugging Face Transformers documentation (2026)
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
Powiązane
Jak skwantyzować model?
Jak skwantyzować model AI do 8 lub 4 bitów: jakich narzędzi użyć, jak sprawdzić jakość oraz kiedy kwantyzacja oszczędza energię, a kiedy nie.
Jak przeprowadzić destylację dużego modelu do mniejszego?
Jak działa destylacja wiedzy: duży model-nauczyciel trenuje mały model-ucznia do danego zadania, a duży model zostaje jako rozwiązanie zapasowe.
Jak zdecydować, czy uruchamiać AI na urządzeniu, czy w chmurze?
Jak porównać AI na urządzeniu (edge) z AI w chmurze pod kątem energii, prywatności i jakości oraz jakie zadania pasują do każdej z opcji, z uczciwymi zastrzeżeniami.
Brzeg sieci czy chmura: gdzie powinna działać AI?
Jak porównać AI na urządzeniu i na brzegu sieci z centrami danych: energia, sieć, sprzęt, prywatność i odporność oraz sposób podjęcia decyzji krok po kroku.