# Como sei se um modelo de mistura de especialistas vai poupar energia?

> Como os modelos de mistura de especialistas ativam só parte dos parâmetros por token, quando isso poupa energia em relação a um modelo denso e o que medir.

Source: https://greenai.guide/pt/como/como-sei-se-um-modelo-de-mistura-de-especialistas-vai-poupar-energia/  
Updated: 2026-11-19

## Em resumo

Um modelo de mistura de especialistas encaminha cada token para algumas sub-redes especialistas, por isso só parte do modelo trabalha em cada token. O Mixtral, por exemplo, tem 47 bilhões de parâmetros, mas usa 13 bilhões por token. Isso pode reduzir a computação por resposta em comparação com um modelo denso de qualidade semelhante, mas todos os especialistas continuam tendo de ficar na memória, por isso compare a qualidade, a latência e a energia por pedido no seu próprio hardware.

## Steps

1. Selecione um modelo de mistura de especialistas e um modelo denso de qualidade semelhante para a sua tarefa.
2. Verifique se os dois cabem na memória de GPU disponível, contando todos os especialistas.
3. Execute os dois no seu conjunto de avaliação com o seu tamanho de lote real.
4. Compare a qualidade, a latência e a energia por pedido lado a lado.
5. Escolha pelos três critérios, e considere um modelo denso menor se ele passar.

**Os modelos de mistura de especialistas (MoE) podem oferecer a qualidade de um modelo grande com menos computação
por token, mas não com menos memória.** Se eles poupam energia no seu caso depende do seu hardware e do seu tráfego.

## Como funciona uma mistura de especialistas? {#how-does-a-mixture-of-experts-work}

Um modelo denso usa todos os parâmetros em cada token. Um modelo MoE tem muitas sub-redes "especialistas" e um
pequeno roteador que escolhe alguns especialistas por token. O Mixtral of Experts de Jiang e colegas dá a cada token
acesso a 47 bilhões de parâmetros, mas usa apenas 13 bilhões de parâmetros ativos durante a inferência, e os autores
relatam que ele supera ou iguala o Llama 2 70B e o GPT-3.5 nos testes que avaliaram. Veja também o
[verbete do glossário](/pt/glossario/#mixture-of-experts).

## Quando ele poupa energia? {#when-does-it-save-energy}

- **Em comparação com um modelo denso de qualidade semelhante**, menos parâmetros ativos geralmente significam menos
  computação por token.
- **Quando você tem a memória.** Todos os especialistas continuam tendo de ser carregados, por isso você pode
  precisar de tantas GPUs quanto para o modelo denso. A memória ociosa continua consumindo energia.
- **Com boa utilização.** Com lotes, tokens diferentes usam especialistas diferentes, o que mantém o hardware mais
  ocupado.

## Erros comuns {#common-mistakes}

- **Comparar com a referência errada.** Se um modelo denso pequeno atinge o seu nível de qualidade, ele geralmente
  vai superar os dois. Veja [como escolher um modelo de IA menor](/pt/como/como-escolho-um-modelo-de-ia-menor/).
- **Contar os parâmetros ativos como o custo total.** A memória, a comunicação entre GPUs e a sobrecarga do
  roteamento também contam.
- **Não medir.** Quando avaliações públicas como o AI Energy Score cobrem os seus candidatos, use-as; caso
  contrário, teste o desempenho dos dois no mesmo hardware.

Para o método mais amplo, leia [escolher o modelo certo](/pt/boas-praticas/escolha-o-modelo-certo-para-a-tarefa/).

## Fontes

- [Mixtral of experts](https://arxiv.org/abs/2401.04088), Jiang et al., Mistral AI (2024)
- [AI Energy Score](https://huggingface.github.io/AIEnergyScore/), Hugging Face (2025)
