In het kort
Een mixture-of-experts-model stuurt elk token naar een paar gespecialiseerde subnetwerken, zodat maar een deel van het model per token werk doet. Mixtral heeft bijvoorbeeld 47 miljard parameters, maar gebruikt er 13 miljard per token. Dat kan de rekenkracht per antwoord verlagen ten opzichte van een dicht (dense) model van vergelijkbare kwaliteit, maar elke expert moet nog steeds in het geheugen staan. Vergelijk dus kwaliteit, latentie en energie per verzoek op uw eigen hardware.
Stappen
- Selecteer voor uw taak een mixture-of-experts-model en een dicht model van vergelijkbare kwaliteit.
- Controleer of beide in uw beschikbare GPU-geheugen passen, met alle experts meegeteld.
- Draai beide op uw evaluatieset bij uw echte batchgrootte.
- Vergelijk kwaliteit, latentie en energie per verzoek naast elkaar.
- Kies op alle drie, en overweeg een kleiner dicht model als dat voldoet.
Mixture-of-experts-modellen (MoE) kunnen de kwaliteit van een groot model leveren met minder rekenwerk per token, maar niet met minder geheugen. Of ze voor u energie besparen, hangt af van uw hardware en verkeer.
Hoe werkt een mixture of experts?
Een dicht model gebruikt elke parameter voor elk token. Een MoE-model heeft veel "expert"-subnetwerken en een kleine router die per token een paar experts kiest. Mixtral of Experts van Jiang en collega's geeft elk token toegang tot 47 miljard parameters, maar gebruikt tijdens inferentie maar 13 miljard actieve parameters, en de auteurs melden dat het Llama 2 70B en GPT-3.5 overtreft of evenaart op de benchmarks die zij evalueerden. Zie ook het woordenlijstitem.
Wanneer bespaart het energie?
- Vergeleken met een dicht model van vergelijkbare kwaliteit betekenen minder actieve parameters meestal minder rekenwerk per token.
- Als u het geheugen hebt. Alle experts moeten nog steeds geladen worden, dus u hebt mogelijk evenveel GPU's nodig als voor het dichte model. Ongebruikt geheugen verbruikt nog steeds stroom.
- Bij een goede benutting. Met batching gebruiken verschillende tokens verschillende experts, wat de hardware beter bezig houdt.
Veelgemaakte fouten
- Vergelijken met de verkeerde basislijn. Als een klein dicht model aan uw kwaliteitseisen voldoet, verslaat het meestal beide. Zie hoe u een kleiner AI-model kiest.
- Actieve parameters als de volledige kosten zien. Geheugen, communicatie tussen GPU's en de overhead van de routering tellen ook mee.
- Niet meten. Gebruik openbare beoordelingen zoals de AI Energy Score als die uw kandidaten dekken; benchmark anders beide op dezelfde hardware.
Lees voor de bredere methode kies het juiste model.
Bronnen
- Mixtral of experts, Jiang et al., Mistral AI (2024)
- AI Energy Score, Hugging Face (2025)
Gerelateerd
Hoe vergelijk ik het energieverbruik van verschillende AI-modellen?
AI-modellen eerlijk vergelijken op energie: gebruik benchmarks zoals de AI Energy Score, of meet ze zelf op dezelfde taak, hardware en instellingen.
Hoe kies ik een kleiner AI-model?
Zo kiest u het kleinste AI-model dat uw taak goed doet: stel een kwaliteitslat, test van klein naar groot, check energielabels en houd een groot model achter de hand.
Hoe verminder ik het energieverbruik van een model in productie?
Een zelf gehost model bedienen met minder energie per verzoek: efficiënte runtimes, batching, halve precisie, gecompileerde caches en geteste hardware.
Kies het juiste model voor de taak
AI op maat: wanneer u kleine of gespecialiseerde modellen gebruikt, wanneer een frontiermodel zijn kosten waard is, hoe routing werkt en wanneer u geen AI gebruikt.