greenai.guide

Home › Hoe doe ik…? › Hoe draai ik een AI-model lokaal op mijn eigen computer?

Hoe doe ik…?

Hoe draai ik een AI-model lokaal op mijn eigen computer?

Bijgewerkt · 1 min. leestijd

In het kort

Installeer een lokale runner zoals Ollama of llama.cpp, download een klein model met open gewichten in een gekwantiseerd formaat zoals GGUF en draai het op uw eigen computer. Kies het kleinste model dat uw taak aankan: gekwantiseerde versies hebben veel minder geheugen nodig, dus een model met 8 miljard parameters dat in 16-bitsvorm ongeveer 16 GB nodig heeft, past bij 4 bits in ongeveer 4–5 GB.

Stappen

  1. Controleer hoeveel geheugen uw computer heeft en of die een bruikbare GPU of Apple silicon heeft.
  2. Installeer een lokale runner zoals Ollama of llama.cpp.
  3. Download een klein model met open gewichten in een gekwantiseerd formaat dat in uw geheugen past.
  4. Test het op uw echte taken en ga alleen een maat groter als het tekortschiet.
  5. Meet het energieverbruik met een stopcontactmeter of een tool zoals CodeCarbon.
  6. Sluit het model als u het niet gebruikt, zodat het geen geheugen of stroom vasthoudt.

Een model lokaal draaien betekent: een runner kiezen, een model dat past, en dan meten. Uw gegevens blijven op uw eigen machine en u ziet precies wat de AI aan energie kost, iets wat een gehoste dienst u nooit laat zien.

Wat heb ik nodig?

  • Een runner. Ollama is een populaire manier om open modellen op uw eigen computer te gebruiken. llama.cpp is een C/C++-engine op een lager niveau, bedoeld om modellen met minimale installatie op allerlei hardware te draaien.
  • Een modelbestand. GGUF is een binair formaat dat is geoptimaliseerd voor snel laden en efficiënte inferentie, met gekwantiseerde versies van minder dan 2 bits tot 8 bits per gewicht.
  • Genoeg geheugen. De documentatie van Hugging Face geeft een vuistregel: een model met 8 miljard parameters heeft in 16-bitsvorm ongeveer 16 GB nodig voor zijn gewichten, bij 8 bits ongeveer 8 GB en bij 4 bits ongeveer 4–5 GB. Minder bits kosten wat nauwkeurigheid.

Is het groener dan de cloud?

Niet vanzelf. Een laptop die één verzoek tegelijk afhandelt, kan per antwoord minder efficiënt zijn dan een drukke, goed gebatchte server in een datacenter. Lokaal wint als het model klein is, de taak vaak voorkomt of als u daarmee voorkomt dat u grote hoeveelheden gegevens over het netwerk stuurt. Zie apparaat of cloud.

Veelgemaakte fouten

  • Het grootste model downloaden dat uw machine aankan. Begin klein; zie kies een kleiner AI-model.
  • Het model de hele dag geladen laten op een desktop met een stroomslurpende GPU.
  • Een nieuwe GPU kopen voordat u een gekwantiseerd model hebt geprobeerd; zie hoe u een model kwantiseert.

Gebruik voor het energieverbruik een stopcontactmeter of CodeCarbon, zoals beschreven in meet de energie die AI op uw eigen computer gebruikt. Lees voor de afwegingen edge of cloud.

Bronnen

  1. Ollama documentation, Ollama (2026)
  2. llama.cpp: LLM inference in C/C++, ggml-org (GitHub) (2026)
  3. GGUF, Hugging Face Hub documentation (2026)
  4. Quantization overview, Hugging Face Transformers documentation (2026)
  5. CodeCarbon, CodeCarbon (2026)

Doe mee

Help de impact van AI op de planeet te verkleinen

Ontvang ongeveer eens per maand nieuwe gidsen, financieringsoproepen en vermeldingen per e-mail. Of voeg uw product, cursus, promotieplaats of onderzoek toe aan de gidsen.

Geen tracking. Met één klik afmelden. Andere manieren om mee te doen · Privacy