W skrócie
Należy zainstalować lokalne środowisko uruchomieniowe, np. Ollama lub llama.cpp, pobrać mały model z otwartymi wagami w formacie skwantyzowanym, np. GGUF, i uruchomić go na własnym komputerze. Warto wybrać najmniejszy model, który wykonuje zadanie: wersje skwantyzowane potrzebują znacznie mniej pamięci, więc model o 8 mld parametrów, który w formie 16-bitowej wymaga ok. 16 GB, przy 4 bitach mieści się w ok. 4–5 GB.
Kroki
- Należy sprawdzić pamięć komputera i to, czy ma on użyteczne GPU lub procesor Apple silicon.
- Należy zainstalować lokalne środowisko uruchomieniowe, np. Ollama lub llama.cpp.
- Należy pobrać mały model z otwartymi wagami w formacie skwantyzowanym, który zmieści się w pamięci.
- Model należy przetestować na rzeczywistych zadaniach i przejść na większy tylko wtedy, gdy nie wystarcza.
- Energię należy zmierzyć miernikiem gniazdkowym lub narzędziem takim jak CodeCarbon.
- Nieużywany model należy zamknąć, aby nie zajmował pamięci ani nie pobierał energii.
Lokalne uruchomienie modelu oznacza wybór środowiska uruchomieniowego, pasującego modelu, a potem pomiar. Dane zostają na własnym komputerze, a przy tym widać dokładnie, ile energii kosztuje AI, czego hostowana usługa nigdy nie pokazuje.
Co jest potrzebne?
- Środowisko uruchomieniowe. Ollama to popularny sposób korzystania z otwartych modeli na własnym komputerze. llama.cpp to silnik niższego poziomu w C/C++, przeznaczony do uruchamiania modeli przy minimalnej konfiguracji na szerokiej gamie sprzętu.
- Plik modelu. GGUF to format binarny zoptymalizowany pod szybkie wczytywanie i efektywne wnioskowanie, z wersjami skwantyzowanymi od poniżej 2 do 8 bitów na wagę.
- Wystarczająca ilość pamięci. Dokumentacja Hugging Face podaje regułę orientacyjną: model o 8 mld parametrów potrzebuje na wagi ok. 16 GB w formie 16-bitowej, ok. 8 GB przy 8 bitach i ok. 4–5 GB przy 4 bitach. Mniej bitów oznacza pewną utratę dokładności.
Czy to jest bardziej ekologiczne niż chmura?
Nie automatycznie. Laptop obsługujący jedno zapytanie naraz może być mniej wydajny w przeliczeniu na odpowiedź niż obciążony serwer w centrum danych, dobrze grupujący zapytania. Wariant lokalny wygrywa, gdy model jest mały, zadanie częste lub gdy pozwala uniknąć przesyłania dużych danych przez sieć. Zob. urządzenie czy chmura.
Częste błędy
- Pobieranie największego modelu, jaki zmieści komputer. Należy zacząć od małego; zob. jak wybrać mniejszy model AI.
- Pozostawianie modelu wczytanego przez cały dzień na komputerze z energochłonnym GPU.
- Kupowanie nowego GPU przed wypróbowaniem modelu skwantyzowanego; zob. jak skwantyzować model.
Energię można sprawdzić miernikiem gniazdkowym lub za pomocą CodeCarbon, jak opisano na stronie pomiar energii zużywanej przez AI na własnym komputerze. Kompromisy omawia strona urządzenie brzegowe czy chmura.
Źródła
- Ollama documentation, Ollama (2026)
- llama.cpp: LLM inference in C/C++, ggml-org (GitHub) (2026)
- GGUF, Hugging Face Hub documentation (2026)
- Quantization overview, Hugging Face Transformers documentation (2026)
- CodeCarbon, CodeCarbon (2026)
Powiązane
Jak skwantyzować model?
Jak skwantyzować model AI do 8 lub 4 bitów: jakich narzędzi użyć, jak sprawdzić jakość oraz kiedy kwantyzacja oszczędza energię, a kiedy nie.
Jak zdecydować, czy uruchamiać AI na urządzeniu, czy w chmurze?
Jak porównać AI na urządzeniu (edge) z AI w chmurze pod kątem energii, prywatności i jakości oraz jakie zadania pasują do każdej z opcji, z uczciwymi zastrzeżeniami.
Jak zmierzyć, ile energii zużywa AI na moim komputerze lub GPU?
Pomiar energii lokalnej AI: liczniki sprzętowe, telemetria GPU lub miernik w gniazdku, próbkowanie przez całe zadanie i odjęcie poboru w spoczynku.
Brzeg sieci czy chmura: gdzie powinna działać AI?
Jak porównać AI na urządzeniu i na brzegu sieci z centrami danych: energia, sieć, sprzęt, prywatność i odporność oraz sposób podjęcia decyzji krok po kroku.