greenai.guide

Início › Como faço para…? › Como sei se um modelo de mistura de especialistas vai poupar energia?

Como faço para…?

Como sei se um modelo de mistura de especialistas vai poupar energia?

Atualizado · 1 min de leitura

Em resumo

Um modelo de mistura de especialistas encaminha cada token para algumas sub-redes especialistas, por isso só parte do modelo trabalha em cada token. O Mixtral, por exemplo, tem 47 bilhões de parâmetros, mas usa 13 bilhões por token. Isso pode reduzir a computação por resposta em comparação com um modelo denso de qualidade semelhante, mas todos os especialistas continuam tendo de ficar na memória, por isso compare a qualidade, a latência e a energia por pedido no seu próprio hardware.

Passos

  1. Selecione um modelo de mistura de especialistas e um modelo denso de qualidade semelhante para a sua tarefa.
  2. Verifique se os dois cabem na memória de GPU disponível, contando todos os especialistas.
  3. Execute os dois no seu conjunto de avaliação com o seu tamanho de lote real.
  4. Compare a qualidade, a latência e a energia por pedido lado a lado.
  5. Escolha pelos três critérios, e considere um modelo denso menor se ele passar.

Os modelos de mistura de especialistas (MoE) podem oferecer a qualidade de um modelo grande com menos computação por token, mas não com menos memória. Se eles poupam energia no seu caso depende do seu hardware e do seu tráfego.

Como funciona uma mistura de especialistas?

Um modelo denso usa todos os parâmetros em cada token. Um modelo MoE tem muitas sub-redes "especialistas" e um pequeno roteador que escolhe alguns especialistas por token. O Mixtral of Experts de Jiang e colegas dá a cada token acesso a 47 bilhões de parâmetros, mas usa apenas 13 bilhões de parâmetros ativos durante a inferência, e os autores relatam que ele supera ou iguala o Llama 2 70B e o GPT-3.5 nos testes que avaliaram. Veja também o verbete do glossário.

Quando ele poupa energia?

  • Em comparação com um modelo denso de qualidade semelhante, menos parâmetros ativos geralmente significam menos computação por token.
  • Quando você tem a memória. Todos os especialistas continuam tendo de ser carregados, por isso você pode precisar de tantas GPUs quanto para o modelo denso. A memória ociosa continua consumindo energia.
  • Com boa utilização. Com lotes, tokens diferentes usam especialistas diferentes, o que mantém o hardware mais ocupado.

Erros comuns

  • Comparar com a referência errada. Se um modelo denso pequeno atinge o seu nível de qualidade, ele geralmente vai superar os dois. Veja como escolher um modelo de IA menor.
  • Contar os parâmetros ativos como o custo total. A memória, a comunicação entre GPUs e a sobrecarga do roteamento também contam.
  • Não medir. Quando avaliações públicas como o AI Energy Score cobrem os seus candidatos, use-as; caso contrário, teste o desempenho dos dois no mesmo hardware.

Para o método mais amplo, leia escolher o modelo certo.

Fontes

  1. Mixtral of experts, Jiang et al., Mistral AI (2024)
  2. AI Energy Score, Hugging Face (2025)

Junte-se a nós

Ajude a reduzir o impacto da IA no planeta

Receba novos guias, editais de financiamento e listagens dos diretórios por e-mail, cerca de uma vez por mês. Ou adicione seu produto, curso, doutorado ou pesquisa aos diretórios.

Sem rastreamento. Cancele a inscrição com um clique. Outras formas de participar · Privacidade