W skrócie
Małe, częste, prywatne lub wymagające szybkiej reakcji zadania należy uruchamiać na urządzeniu, a duże lub sporadyczne zadania wymagające dużych modeli wysyłać do efektywnej usługi w chmurze. Niektóre badania wykazują duże oszczędności energii na urządzeniu przy odpowiednich modelach, ale dobrze zarządzane centra danych są trudnym punktem odniesienia, więc tam, gdzie to możliwe, warto zmierzyć własny przypadek.
Kroki
- Należy spisać potrzeby zadania: rozmiar modelu, częstotliwość uruchamiania, prywatność i to, czy musi działać offline.
- Urządzenie jest lepsze dla małych modeli, częstego użycia, prywatnych danych i pracy offline.
- Chmura jest lepsza dla dużych modeli, sporadycznych ciężkich zadań i pracy, którą można przetwarzać wsadowo.
- Tam, gdzie da się to zmierzyć, należy porównać energię na zadanie w obu opcjach, łącznie z siecią.
- Żywotność baterii i wiek sprzętu warto uwzględnić jako część kosztu urządzenia.
Małe i częste zadania pasują do urządzenia, duże i sporadyczne do chmury. Żadna z opcji nie jest ekologiczniejsza w każdym przypadku. Odpowiedź zależy od modelu, częstotliwości uruchamiania i efektywności każdej ze stron.
Co mówią dane?
Są niejednoznaczne. Li, Islam i Ren stwierdzili mniejszy ślad przy wdrożeniu kilku modeli generatywnych na urządzeniach brzegowych, z oszczędnością energii ponad 90% w testach na nowym telefonie. Ich punktem odniesienia w chmurze nie była jednak w pełni zoptymalizowana usługa produkcyjna, a serwery z dobrym przetwarzaniem wsadowym w efektywnym centrum danych trudniej pokonać. Brytyjski sandpit (intensywne warsztaty badawcze, na których naukowcy i przemysł wspólnie wypracowują pomysły na projekty) poświęcony zielonej AI w 2026 roku, z udziałem matematyków, informatyków i przemysłu, uznał łączny efekt energetyczny AI rozproszonej na miliony urządzeń za otwarte pytanie.
Jak wybrać?
| Przemawia za urządzeniem | Przemawia za chmurą |
|---|---|
| Mały model, np. model Apple działający na urządzeniu, liczący około trzech miliardów parametrów | Duży model, który nie zmieści się lokalnie |
| Uruchamiany często, np. przy każdym zdjęciu lub naciśnięciu klawisza | Uruchamiany sporadycznie |
| Prywatne lub wrażliwe dane | Praca, którą można przetwarzać wsadowo lub zaplanować |
| Musi działać offline lub natychmiast | Wymaga najnowszego, najbardziej zaawansowanego modelu |
Green Software Foundation wymienia uruchamianie modeli AI na urządzeniach brzegowych wśród swoich wzorców ekologicznego oprogramowania, jako opcję dla odpowiednich modeli, a nie regułę.
Częste błędy
- Założenie, że lokalnie znaczy za darmo. Zużywa to baterię i może skłaniać do zakupu nowego sprzętu.
- Pomijanie sieci. Wysyłanie dużych plików do chmury też ma swój koszt.
- Uruchamianie zbyt dużego modelu na urządzeniu, przez co działa wolno i wyczerpuje energię.
Pełniejszy przewodnik decyzyjny zawierają strony urządzenie czy chmura oraz AI na urządzeniach brzegowych.
Źródła
- A case study of environmental footprints for generative AI inference: cloud versus edge, Li, Islam and Ren, ACM SIGMETRICS Performance Evaluation Review (2025)
- Apple Intelligence Foundation Language Models: Tech Report 2025, Apple (2025)
- Green Software Patterns: run AI models at the edge, Green Software Foundation (2025)
Powiązane
Brzeg sieci czy chmura: gdzie powinna działać AI?
Jak porównać AI na urządzeniu i na brzegu sieci z centrami danych: energia, sieć, sprzęt, prywatność i odporność oraz sposób podjęcia decyzji krok po kroku.
AI na brzegu sieci: bardziej ekologiczna czy tylko mniej widoczna?
AI na urządzeniu i na brzegu sieci może oszczędzać energię sieci i centrów danych, ale rozprasza obliczenia na miliardy niemierzonych urządzeń. Co wiemy, a czego nie.
Jak uruchomić model AI lokalnie?
Jak uruchomić otwarty model AI na własnym laptopie lub serwerze za pomocą Ollama lub llama.cpp, wybrać pasujący model skwantyzowany i zmierzyć jego energię.
Jak zmniejszyć model na tyle, by działał na urządzeniu brzegowym?
Jak zmniejszyć model dla telefonów, czujników i płytek wbudowanych: zacząć od małego, destylować, kwantyzować i przycinać, a potem testować na urządzeniu.