# Jak zmniejszyć model na tyle, by działał na urządzeniu brzegowym?

> Jak zmniejszyć model dla telefonów, czujników i płytek wbudowanych: zacząć od małego, destylować, kwantyzować i przycinać, a potem testować na urządzeniu.

Source: https://greenai.guide/pl/jak/jak-zmniejszyc-model-na-tyle-by-dzialal-na-urzadzeniu-brzegowym/  
Updated: 2026-11-19

## W skrócie

Należy zacząć od najmniejszego modelu, który może spełnić wymagany poziom jakości, a następnie dalej go zmniejszać przez destylację, kwantyzację i przycinanie (pruning), testując każdy krok na urządzeniu docelowym. Energię na jedno wnioskowanie, opóźnienie i dokładność trzeba mierzyć razem na rzeczywistym sprzęcie, a model powinien przechodzić na lżejszy tryb, gdy bateria jest słaba lub urządzenie się nagrzewa.

## Steps

1. Określić wymagany poziom jakości oraz budżet pamięci, opóźnienia i energii dla urządzenia docelowego.
2. Zacząć od małego lub destylowanego modelu, zamiast zmniejszać duży model ogólny.
3. Skwantyzować wagi do 8 lub 4 bitów i sprawdzić dokładność na własnych przypadkach testowych.
4. Przyciąć wagi o niewielkim znaczeniu, a potem ponownie przetestować model na urządzeniu.
5. Mierzyć razem energię na jedno wnioskowanie, opóźnienie i dokładność na rzeczywistym sprzęcie.
6. Przełączać się na mniejszy model lub rzadsze wnioskowanie, gdy bateria jest słaba lub urządzenie się nagrzewa.

**Należy połączyć mały model wyjściowy z destylacją, kwantyzacją i przycinaniem, a każdy krok oceniać na samym
urządzeniu.** Urządzenia brzegowe mają mało pamięci i często działają na baterii, więc zbyt duży model albo się nie
zmieści, albo rozładuje urządzenie i spowoduje dławienie wydajności. Właściwy rozmiar oznacza też, że dane nie muszą
być wysyłane do chmury.

## Które techniki najbardziej zmniejszają model? {#which-techniques-shrink-a-model-most}

- **Destylacja** trenuje mały model „ucznia”, by naśladował duży model „nauczyciela”. DistilBERT był o 40% mniejszy
  i o 60% szybszy od BERT, zachowując 97% jego zdolności rozumienia języka.
- **Kwantyzacja** zapisuje wagi na mniejszej liczbie bitów. Dokumentacja Hugging Face podaje przykład modelu
  o 8 miliardach parametrów, którego wagi wymagają około 16 GB przy precyzji 16-bitowej, około 8 GB przy 8 bitach
  i około 4–5 GB przy 4 bitach, kosztem pewnej utraty dokładności. Zob. [jak skwantyzować model](/pl/jak/jak-skwantyzowac-model/).
- **Przycinanie (pruning)** usuwa wagi, które prawie nie wpływają na wynik. Zob. [jak przyciąć sieć neuronową](/pl/jak/jak-przyciac-pruning-siec-neuronowa/).

## Jak model powinien działać na urządzeniu? {#how-should-the-model-behave-on-the-device}

Wzorzec edge AI Green Software Foundation zaleca śledzenie razem energii na jedno wnioskowanie, opóźnienia
i dokładności oraz dostosowywanie się do warunków: mniejszy model lub rzadsze wnioskowanie, gdy bateria jest słaba
lub urządzenie się nagrzewa.

## Częste błędy {#common-mistakes}

- **Testowanie tylko na laptopie.** Akceleratory, pamięć i limity termiczne są inne; należy mierzyć na sprzęcie
  docelowym.
- **Zmniejszanie poniżej wymaganego poziomu jakości.** Model, który zawodzi i musi awaryjnie odwoływać się do chmury,
  może kosztować więcej, niż oszczędza.
- **Ciągłe wnioskowanie.** Tam, gdzie to możliwe, należy je uruchamiać przy zdarzeniach, a nie co klatkę czy co
  sekundę.

To, czy bardziej ekologiczne jest urządzenie brzegowe, czy chmura, zależy od przypadku: zob.
[urządzenie brzegowe czy chmura](/pl/dobre-praktyki/brzeg-sieci-czy-chmura-gdzie-powinna-dzialac-ai/) oraz [AI na urządzeniach brzegowych](/pl/artykuly/ai-na-brzegu-sieci-bardziej-ekologiczna-czy-tylko-mniej-widoczna/).

## Źródła

- [Optimize power consumption for edge AI inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/optimize-edge-ai-power-performance.md), Green Software Foundation, Green Software Patterns (2025)
- [Run AI models at the edge](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/architecture/system-topology/run-ai-models-edge.md), Green Software Foundation, Green Software Patterns (2025)
- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
