W skrócie
Model mixture-of-experts (mieszanina ekspertów) kieruje każdy token do kilku wyspecjalizowanych podsieci, więc na każdy token pracuje tylko część modelu. Mixtral ma na przykład 47 mld parametrów, ale na jeden token używa 13 mld. Może to zmniejszyć obliczenia na odpowiedź w porównaniu z modelem gęstym o podobnej jakości, ale wszyscy eksperci muszą nadal znajdować się w pamięci. Dlatego należy porównać jakość, opóźnienie i energię na zapytanie na własnym sprzęcie.
Kroki
- Należy wybrać model mixture-of-experts i model gęsty o podobnej jakości dla danego zadania.
- Należy sprawdzić, czy oba mieszczą się w dostępnej pamięci GPU, licząc wszystkich ekspertów.
- Oba modele należy uruchomić na zestawie ewaluacyjnym przy rzeczywistym rozmiarze partii (batch).
- Należy porównać obok siebie jakość, opóźnienie i energię na zapytanie.
- Wyboru należy dokonać na podstawie wszystkich trzech kryteriów i rozważyć mniejszy model gęsty, jeśli spełnia wymagania.
Modele mixture-of-experts (MoE) mogą zapewnić jakość dużego modelu przy mniejszej liczbie obliczeń na token, ale nie przy mniejszej pamięci. To, czy oszczędzą energię w danym przypadku, zależy od sprzętu i ruchu.
Jak działa mixture of experts?
Model gęsty używa każdego parametru dla każdego tokena. Model MoE ma wiele podsieci „ekspertów” i mały router, który wybiera kilku ekspertów na token. Mixtral of Experts autorstwa Jianga i współpracowników daje każdemu tokenowi dostęp do 47 mld parametrów, ale podczas wnioskowania używa tylko 13 mld aktywnych parametrów. Autorzy podają, że dorównuje modelom Llama 2 70B i GPT-3.5 lub je przewyższa w ocenianych benchmarkach. Zobacz też hasło w słowniczku.
Kiedy oszczędza energię?
- W porównaniu z modelem gęstym o podobnej jakości mniej aktywnych parametrów zwykle oznacza mniej obliczeń na token.
- Gdy jest wystarczająco pamięci. Wszyscy eksperci nadal muszą być załadowani, więc może być potrzebne tyle samo GPU co dla modelu gęstego. Niewykorzystana pamięć nadal pobiera energię.
- Przy dobrym wykorzystaniu. Przy przetwarzaniu wsadowym różne tokeny używają różnych ekspertów, dzięki czemu sprzęt jest bardziej obciążony.
Częste błędy
- Porównanie z niewłaściwym punktem odniesienia. Jeśli mały model gęsty spełnia wymagania jakościowe, zwykle pokona oba. Zobacz jak wybrać mniejszy model AI.
- Traktowanie aktywnych parametrów jako całego kosztu. Liczą się też pamięć, komunikacja między GPU i narzut routingu.
- Brak pomiarów. Jeśli publiczne oceny, takie jak AI Energy Score, obejmują rozważane modele, warto z nich skorzystać. W przeciwnym razie należy przetestować oba modele na tym samym sprzęcie.
Szerszą metodę opisuje strona wybór właściwego modelu.
Źródła
- Mixtral of experts, Jiang et al., Mistral AI (2024)
- AI Energy Score, Hugging Face (2025)
Powiązane
Jak porównać zużycie energii przez różne modele AI?
Jak uczciwie porównać modele AI pod kątem energii: korzystając z benchmarków takich jak AI Energy Score lub mierząc je samodzielnie w tych samych warunkach.
Jak wybrać mniejszy model AI?
Jak wybrać najmniejszy model AI, który dobrze wykonuje zadanie: ustalić próg jakości, testować od małych do dużych, sprawdzić oceny energii, mieć duży model w rezerwie.
Jak zmniejszyć zużycie energii przy serwowaniu modelu w produkcji?
Jak serwować własny model przy mniejszym zużyciu energii na zapytanie: wydajne środowiska, batching, połowiczna precyzja, kompilacja, cache i testy sprzętu.
Wybór właściwego modelu do zadania
Jak dobrać AI do zadania: kiedy wystarczy mały lub wyspecjalizowany model, kiedy duży model jest wart kosztów, jak działa routing i kiedy obejść się bez AI.