요약
전문가 혼합 모델은 각 토큰을 몇 개의 전문 하위 네트워크로 보내므로, 토큰마다 모델의 일부만 일을 합니다. 예를 들어 Mixtral은 매개변수가 470억 개이지만 토큰마다 130억 개만 씁니다. 그래서 품질이 비슷한 밀집 모델보다 답변당 계산량을 줄일 수 있지만, 모든 전문가가 여전히 메모리에 올라가 있어야 하므로, 자신의 하드웨어에서 요청당 품질, 지연 시간, 에너지를 비교하십시오.
단계
- 작업에 맞는 전문가 혼합 모델 하나와 품질이 비슷한 밀집 모델 하나를 후보로 고릅니다.
- 모든 전문가를 포함해 두 모델이 사용 가능한 GPU 메모리에 들어가는지 확인합니다.
- 실제 배치 크기로 두 모델을 평가 세트에 실행합니다.
- 요청당 품질, 지연 시간, 에너지를 나란히 비교합니다.
- 세 가지를 모두 보고 고르며, 더 작은 밀집 모델이 기준을 통과하면 그것도 고려합니다.
전문가 혼합(MoE) 모델은 토큰당 더 적은 계산으로 대형 모델 수준의 품질을 낼 수 있지만, 메모리는 줄여 주지 않습니다. 실제로 에너지를 아낄지는 하드웨어와 트래픽에 달려 있습니다.
전문가 혼합은 어떻게 작동하나요?
밀집(dense) 모델은 모든 토큰에 모든 매개변수를 씁니다. MoE 모델에는 "전문가" 하위 네트워크가 많고, 작은 라우터가 토큰마다 전문가 몇 개를 고릅니다. Jiang 연구진의 Mixtral of Experts는 각 토큰이 470억 개 매개변수에 접근할 수 있게 하지만 추론 중에는 활성 매개변수 130억 개만 쓰며, 저자들은 이 모델이 평가한 벤치마크 전반에서 Llama 2 70B와 GPT-3.5보다 낫거나 비슷하다고 보고합니다. 용어집 항목도 참고하십시오.
언제 에너지를 절약하나요?
- 품질이 비슷한 밀집 모델과 비교할 때, 활성 매개변수가 적으면 대개 토큰당 계산도 줄어듭니다.
- 메모리가 충분할 때. 모든 전문가를 여전히 불러와야 하므로 밀집 모델만큼 많은 GPU가 필요할 수 있습니다. 놀고 있는 메모리도 전력을 씁니다.
- 활용률이 높을 때. 배치 처리를 하면 토큰마다 다른 전문가를 쓰므로 하드웨어가 더 바쁘게 돌아갑니다.
흔한 실수
- 잘못된 기준과 비교하는 것. 작은 밀집 모델이 품질 기준을 충족한다면 대개 둘 다보다 낫습니다. 더 작은 AI 모델 고르는 법을 참고하십시오.
- 활성 매개변수만을 전체 비용으로 보는 것. 메모리, GPU 사이의 통신, 라우팅 오버헤드도 비용에 들어갑니다.
- 측정하지 않는 것. AI Energy Score 같은 공개 등급이 후보 모델을 다룬다면 그것을 쓰고, 그렇지 않다면 같은 하드웨어에서 두 모델을 벤치마크하십시오.
더 넓은 방법은 알맞은 모델 고르기를 읽어 보십시오.
출처
- Mixtral of experts, Jiang et al., Mistral AI (2024)
- AI Energy Score, Hugging Face (2025)
관련 내용
여러 AI 모델의 에너지 사용량은 어떻게 비교하나요?
AI Energy Score 같은 벤치마크를 쓰거나, 같은 작업·하드웨어·설정에서 직접 측정해 AI 모델의 에너지를 공정하게 비교하는 방법입니다.
더 작은 AI 모델은 어떻게 골라야 하나요?
작업을 잘 해내는 가장 작은 AI 모델을 고르는 법. 품질 기준을 정하고, 작은 것부터 시험하고, 에너지 등급을 확인하고, 큰 모델은 예비로 둡니다.
운영 환경에서 모델 서빙 에너지를 줄이려면 어떻게 해야 하나요?
효율적인 런타임, 배칭, 반정밀도, 컴파일 캐시, 검증한 하드웨어로 자체 호스팅 모델의 요청당 에너지를 줄이는 방법입니다.
작업에 맞는 모델 고르기
AI 규모를 알맞게 맞추는 법: 작거나 특화된 모델을 쓸 때, 프런티어 모델이 비용값을 할 때, 라우팅의 원리, AI를 쓰지 말아야 할 때를 설명합니다.