# Jak uruchomić model AI lokalnie?

> Jak uruchomić otwarty model AI na własnym laptopie lub serwerze za pomocą Ollama lub llama.cpp, wybrać pasujący model skwantyzowany i zmierzyć jego energię.

Source: https://greenai.guide/pl/jak/jak-uruchomic-model-ai-lokalnie/  
Updated: 2026-11-19

## W skrócie

Należy zainstalować lokalne środowisko uruchomieniowe, np. Ollama lub llama.cpp, pobrać mały model z otwartymi wagami w formacie skwantyzowanym, np. GGUF, i uruchomić go na własnym komputerze. Warto wybrać najmniejszy model, który wykonuje zadanie: wersje skwantyzowane potrzebują znacznie mniej pamięci, więc model o 8 mld parametrów, który w formie 16-bitowej wymaga ok. 16 GB, przy 4 bitach mieści się w ok. 4–5 GB.

## Steps

1. Należy sprawdzić pamięć komputera i to, czy ma on użyteczne GPU lub procesor Apple silicon.
2. Należy zainstalować lokalne środowisko uruchomieniowe, np. Ollama lub llama.cpp.
3. Należy pobrać mały model z otwartymi wagami w formacie skwantyzowanym, który zmieści się w pamięci.
4. Model należy przetestować na rzeczywistych zadaniach i przejść na większy tylko wtedy, gdy nie wystarcza.
5. Energię należy zmierzyć miernikiem gniazdkowym lub narzędziem takim jak CodeCarbon.
6. Nieużywany model należy zamknąć, aby nie zajmował pamięci ani nie pobierał energii.

**Lokalne uruchomienie modelu oznacza wybór środowiska uruchomieniowego, pasującego modelu, a potem pomiar.** Dane
zostają na własnym komputerze, a przy tym widać dokładnie, ile energii kosztuje AI, czego hostowana usługa nigdy
nie pokazuje.

## Co jest potrzebne? {#what-do-i-need}

- **Środowisko uruchomieniowe.** Ollama to popularny sposób korzystania z otwartych modeli na własnym komputerze.
  llama.cpp to silnik niższego poziomu w C/C++, przeznaczony do uruchamiania modeli przy minimalnej konfiguracji na
  szerokiej gamie sprzętu.
- **Plik modelu.** GGUF to format binarny zoptymalizowany pod szybkie wczytywanie i efektywne wnioskowanie, z
  wersjami skwantyzowanymi od poniżej 2 do 8 bitów na wagę.
- **Wystarczająca ilość pamięci.** Dokumentacja Hugging Face podaje regułę orientacyjną: model o 8 mld parametrów
  potrzebuje na wagi ok. 16 GB w formie 16-bitowej, ok. 8 GB przy 8 bitach i ok. 4–5 GB przy 4 bitach. Mniej bitów
  oznacza pewną utratę dokładności.

## Czy to jest bardziej ekologiczne niż chmura? {#is-it-greener-than-the-cloud}

**Nie automatycznie.** Laptop obsługujący jedno zapytanie naraz może być mniej wydajny w przeliczeniu na odpowiedź
niż obciążony serwer w centrum danych, dobrze grupujący zapytania. Wariant lokalny wygrywa, gdy model jest mały,
zadanie częste lub gdy pozwala uniknąć przesyłania dużych danych przez sieć. Zob.
[urządzenie czy chmura](/pl/jak/jak-zdecydowac-czy-uruchamiac-ai-na-urzadzeniu-czy-w-chmurze/).

## Częste błędy {#common-mistakes}

- **Pobieranie największego modelu, jaki zmieści komputer.** Należy zacząć od małego; zob.
  [jak wybrać mniejszy model AI](/pl/jak/jak-wybrac-mniejszy-model-ai/).
- **Pozostawianie modelu wczytanego przez cały dzień** na komputerze z energochłonnym GPU.
- **Kupowanie nowego GPU przed wypróbowaniem modelu skwantyzowanego**; zob. [jak skwantyzować model](/pl/jak/jak-skwantyzowac-model/).

Energię można sprawdzić miernikiem gniazdkowym lub za pomocą CodeCarbon, jak opisano na stronie
[pomiar energii zużywanej przez AI na własnym komputerze](/pl/jak/jak-zmierzyc-ile-energii-zuzywa-ai-na-moim-komputerze-lub-gpu/).
Kompromisy omawia strona [urządzenie brzegowe czy chmura](/pl/dobre-praktyki/brzeg-sieci-czy-chmura-gdzie-powinna-dzialac-ai/).

## Źródła

- [Ollama documentation](https://docs.ollama.com), Ollama (2026)
- [llama.cpp: LLM inference in C/C++](https://github.com/ggml-org/llama.cpp), ggml-org (GitHub) (2026)
- [GGUF](https://huggingface.co/docs/hub/gguf), Hugging Face Hub documentation (2026)
- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
