In het kort
Installeer een lokale runner zoals Ollama of llama.cpp, download een klein model met open gewichten in een gekwantiseerd formaat zoals GGUF en draai het op uw eigen computer. Kies het kleinste model dat uw taak aankan: gekwantiseerde versies hebben veel minder geheugen nodig, dus een model met 8 miljard parameters dat in 16-bitsvorm ongeveer 16 GB nodig heeft, past bij 4 bits in ongeveer 4–5 GB.
Stappen
- Controleer hoeveel geheugen uw computer heeft en of die een bruikbare GPU of Apple silicon heeft.
- Installeer een lokale runner zoals Ollama of llama.cpp.
- Download een klein model met open gewichten in een gekwantiseerd formaat dat in uw geheugen past.
- Test het op uw echte taken en ga alleen een maat groter als het tekortschiet.
- Meet het energieverbruik met een stopcontactmeter of een tool zoals CodeCarbon.
- Sluit het model als u het niet gebruikt, zodat het geen geheugen of stroom vasthoudt.
Een model lokaal draaien betekent: een runner kiezen, een model dat past, en dan meten. Uw gegevens blijven op uw eigen machine en u ziet precies wat de AI aan energie kost, iets wat een gehoste dienst u nooit laat zien.
Wat heb ik nodig?
- Een runner. Ollama is een populaire manier om open modellen op uw eigen computer te gebruiken. llama.cpp is een C/C++-engine op een lager niveau, bedoeld om modellen met minimale installatie op allerlei hardware te draaien.
- Een modelbestand. GGUF is een binair formaat dat is geoptimaliseerd voor snel laden en efficiënte inferentie, met gekwantiseerde versies van minder dan 2 bits tot 8 bits per gewicht.
- Genoeg geheugen. De documentatie van Hugging Face geeft een vuistregel: een model met 8 miljard parameters heeft in 16-bitsvorm ongeveer 16 GB nodig voor zijn gewichten, bij 8 bits ongeveer 8 GB en bij 4 bits ongeveer 4–5 GB. Minder bits kosten wat nauwkeurigheid.
Is het groener dan de cloud?
Niet vanzelf. Een laptop die één verzoek tegelijk afhandelt, kan per antwoord minder efficiënt zijn dan een drukke, goed gebatchte server in een datacenter. Lokaal wint als het model klein is, de taak vaak voorkomt of als u daarmee voorkomt dat u grote hoeveelheden gegevens over het netwerk stuurt. Zie apparaat of cloud.
Veelgemaakte fouten
- Het grootste model downloaden dat uw machine aankan. Begin klein; zie kies een kleiner AI-model.
- Het model de hele dag geladen laten op een desktop met een stroomslurpende GPU.
- Een nieuwe GPU kopen voordat u een gekwantiseerd model hebt geprobeerd; zie hoe u een model kwantiseert.
Gebruik voor het energieverbruik een stopcontactmeter of CodeCarbon, zoals beschreven in meet de energie die AI op uw eigen computer gebruikt. Lees voor de afwegingen edge of cloud.
Bronnen
- Ollama documentation, Ollama (2026)
- llama.cpp: LLM inference in C/C++, ggml-org (GitHub) (2026)
- GGUF, Hugging Face Hub documentation (2026)
- Quantization overview, Hugging Face Transformers documentation (2026)
- CodeCarbon, CodeCarbon (2026)
Gerelateerd
Hoe kwantiseer ik een model?
Hoe u een AI-model kwantiseert naar 8 of 4 bits: welke tools u gebruikt, hoe u de kwaliteit test, en wanneer kwantisatie wel en geen energie bespaart.
Hoe kies ik tussen AI op mijn eigen apparaat en AI in de cloud?
Hoe u AI op het apparaat (edge) afweegt tegen cloud-AI op energie, privacy en kwaliteit, welke taken bij elk passen, en eerlijke kanttekeningen bij het bewijs.
Hoe meet ik hoeveel energie AI verbruikt op mijn eigen computer of GPU?
Meet het lokale energieverbruik van AI met hardwaretellers, GPU-telemetrie of een meetstekker, meet de hele taak en trek het stationair verbruik af.
Edge of cloud: waar moet AI draaien?
Zo weegt u AI op het apparaat en aan de edge af tegen centrale datacenters: energie, netwerk, hardware, privacy en veerkracht, met een stappenplan.