# Jak ocenić, czy model mixture-of-experts zaoszczędzi energię?

> Jak modele mixture-of-experts aktywują tylko część parametrów na token, kiedy oszczędza to energię w porównaniu z modelem gęstym i co należy zmierzyć.

Source: https://greenai.guide/pl/jak/jak-ocenic-czy-model-mixture-of-experts-zaoszczedzi-energie/  
Updated: 2026-11-19

## W skrócie

Model mixture-of-experts (mieszanina ekspertów) kieruje każdy token do kilku wyspecjalizowanych podsieci, więc na każdy token pracuje tylko część modelu. Mixtral ma na przykład 47 mld parametrów, ale na jeden token używa 13 mld. Może to zmniejszyć obliczenia na odpowiedź w porównaniu z modelem gęstym o podobnej jakości, ale wszyscy eksperci muszą nadal znajdować się w pamięci. Dlatego należy porównać jakość, opóźnienie i energię na zapytanie na własnym sprzęcie.

## Steps

1. Należy wybrać model mixture-of-experts i model gęsty o podobnej jakości dla danego zadania.
2. Należy sprawdzić, czy oba mieszczą się w dostępnej pamięci GPU, licząc wszystkich ekspertów.
3. Oba modele należy uruchomić na zestawie ewaluacyjnym przy rzeczywistym rozmiarze partii (batch).
4. Należy porównać obok siebie jakość, opóźnienie i energię na zapytanie.
5. Wyboru należy dokonać na podstawie wszystkich trzech kryteriów i rozważyć mniejszy model gęsty, jeśli spełnia wymagania.

**Modele mixture-of-experts (MoE) mogą zapewnić jakość dużego modelu przy mniejszej liczbie obliczeń na token, ale
nie przy mniejszej pamięci.** To, czy oszczędzą energię w danym przypadku, zależy od sprzętu i ruchu.

## Jak działa mixture of experts? {#how-does-a-mixture-of-experts-work}

Model gęsty używa każdego parametru dla każdego tokena. Model MoE ma wiele podsieci „ekspertów” i mały router, który
wybiera kilku ekspertów na token. Mixtral of Experts autorstwa Jianga i współpracowników daje każdemu tokenowi dostęp
do 47 mld parametrów, ale podczas wnioskowania używa tylko 13 mld aktywnych parametrów. Autorzy podają, że
dorównuje modelom Llama 2 70B i GPT-3.5 lub je przewyższa w ocenianych benchmarkach. Zobacz też
[hasło w słowniczku](/pl/slowniczek/#mixture-of-experts).

## Kiedy oszczędza energię? {#when-does-it-save-energy}

- **W porównaniu z modelem gęstym o podobnej jakości** mniej aktywnych parametrów zwykle oznacza mniej obliczeń na
  token.
- **Gdy jest wystarczająco pamięci.** Wszyscy eksperci nadal muszą być załadowani, więc może być potrzebne tyle samo
  GPU co dla modelu gęstego. Niewykorzystana pamięć nadal pobiera energię.
- **Przy dobrym wykorzystaniu.** Przy przetwarzaniu wsadowym różne tokeny używają różnych ekspertów, dzięki czemu
  sprzęt jest bardziej obciążony.

## Częste błędy {#common-mistakes}

- **Porównanie z niewłaściwym punktem odniesienia.** Jeśli mały model gęsty spełnia wymagania jakościowe, zwykle
  pokona oba. Zobacz [jak wybrać mniejszy model AI](/pl/jak/jak-wybrac-mniejszy-model-ai/).
- **Traktowanie aktywnych parametrów jako całego kosztu.** Liczą się też pamięć, komunikacja między GPU i narzut
  routingu.
- **Brak pomiarów.** Jeśli publiczne oceny, takie jak AI Energy Score, obejmują rozważane modele, warto z nich
  skorzystać. W przeciwnym razie należy przetestować oba modele na tym samym sprzęcie.

Szerszą metodę opisuje strona [wybór właściwego modelu](/pl/dobre-praktyki/wybor-wlasciwego-modelu-do-zadania/).

## Źródła

- [Mixtral of experts](https://arxiv.org/abs/2401.04088), Jiang et al., Mistral AI (2024)
- [AI Energy Score](https://huggingface.github.io/AIEnergyScore/), Hugging Face (2025)
