greenai.guide

홈 › 어떻게 하나요? › 전문가 혼합(MoE) 모델이 에너지를 절약하는지 어떻게 판단하나요?

어떻게 하나요?

전문가 혼합(MoE) 모델이 에너지를 절약하는지 어떻게 판단하나요?

업데이트 · 1분 분량

요약

전문가 혼합 모델은 각 토큰을 몇 개의 전문 하위 네트워크로 보내므로, 토큰마다 모델의 일부만 일을 합니다. 예를 들어 Mixtral은 매개변수가 470억 개이지만 토큰마다 130억 개만 씁니다. 그래서 품질이 비슷한 밀집 모델보다 답변당 계산량을 줄일 수 있지만, 모든 전문가가 여전히 메모리에 올라가 있어야 하므로, 자신의 하드웨어에서 요청당 품질, 지연 시간, 에너지를 비교하십시오.

단계

  1. 작업에 맞는 전문가 혼합 모델 하나와 품질이 비슷한 밀집 모델 하나를 후보로 고릅니다.
  2. 모든 전문가를 포함해 두 모델이 사용 가능한 GPU 메모리에 들어가는지 확인합니다.
  3. 실제 배치 크기로 두 모델을 평가 세트에 실행합니다.
  4. 요청당 품질, 지연 시간, 에너지를 나란히 비교합니다.
  5. 세 가지를 모두 보고 고르며, 더 작은 밀집 모델이 기준을 통과하면 그것도 고려합니다.

전문가 혼합(MoE) 모델은 토큰당 더 적은 계산으로 대형 모델 수준의 품질을 낼 수 있지만, 메모리는 줄여 주지 않습니다. 실제로 에너지를 아낄지는 하드웨어와 트래픽에 달려 있습니다.

전문가 혼합은 어떻게 작동하나요?

밀집(dense) 모델은 모든 토큰에 모든 매개변수를 씁니다. MoE 모델에는 "전문가" 하위 네트워크가 많고, 작은 라우터가 토큰마다 전문가 몇 개를 고릅니다. Jiang 연구진의 Mixtral of Experts는 각 토큰이 470억 개 매개변수에 접근할 수 있게 하지만 추론 중에는 활성 매개변수 130억 개만 쓰며, 저자들은 이 모델이 평가한 벤치마크 전반에서 Llama 2 70B와 GPT-3.5보다 낫거나 비슷하다고 보고합니다. 용어집 항목도 참고하십시오.

언제 에너지를 절약하나요?

  • 품질이 비슷한 밀집 모델과 비교할 때, 활성 매개변수가 적으면 대개 토큰당 계산도 줄어듭니다.
  • 메모리가 충분할 때. 모든 전문가를 여전히 불러와야 하므로 밀집 모델만큼 많은 GPU가 필요할 수 있습니다. 놀고 있는 메모리도 전력을 씁니다.
  • 활용률이 높을 때. 배치 처리를 하면 토큰마다 다른 전문가를 쓰므로 하드웨어가 더 바쁘게 돌아갑니다.

흔한 실수

  • 잘못된 기준과 비교하는 것. 작은 밀집 모델이 품질 기준을 충족한다면 대개 둘 다보다 낫습니다. 더 작은 AI 모델 고르는 법을 참고하십시오.
  • 활성 매개변수만을 전체 비용으로 보는 것. 메모리, GPU 사이의 통신, 라우팅 오버헤드도 비용에 들어갑니다.
  • 측정하지 않는 것. AI Energy Score 같은 공개 등급이 후보 모델을 다룬다면 그것을 쓰고, 그렇지 않다면 같은 하드웨어에서 두 모델을 벤치마크하십시오.

더 넓은 방법은 알맞은 모델 고르기를 읽어 보십시오.

출처

  1. Mixtral of experts, Jiang et al., Mistral AI (2024)
  2. AI Energy Score, Hugging Face (2025)

함께하기

AI가 지구에 미치는 영향을 함께 줄여 주세요

새 가이드, 지원 공모, 디렉터리 등록 소식을 한 달에 한 번 정도 이메일로 받아 보세요. 또는 제품, 강좌, 박사 과정, 연구를 디렉터리에 추가하세요.

추적하지 않습니다. 클릭 한 번으로 구독을 해지할 수 있습니다. 다른 참여 방법 · 개인정보 보호