Em resumo
Um modelo de mistura de especialistas encaminha cada token para algumas sub-redes especialistas, por isso só parte do modelo trabalha em cada token. O Mixtral, por exemplo, tem 47 bilhões de parâmetros, mas usa 13 bilhões por token. Isso pode reduzir a computação por resposta em comparação com um modelo denso de qualidade semelhante, mas todos os especialistas continuam tendo de ficar na memória, por isso compare a qualidade, a latência e a energia por pedido no seu próprio hardware.
Passos
- Selecione um modelo de mistura de especialistas e um modelo denso de qualidade semelhante para a sua tarefa.
- Verifique se os dois cabem na memória de GPU disponível, contando todos os especialistas.
- Execute os dois no seu conjunto de avaliação com o seu tamanho de lote real.
- Compare a qualidade, a latência e a energia por pedido lado a lado.
- Escolha pelos três critérios, e considere um modelo denso menor se ele passar.
Os modelos de mistura de especialistas (MoE) podem oferecer a qualidade de um modelo grande com menos computação por token, mas não com menos memória. Se eles poupam energia no seu caso depende do seu hardware e do seu tráfego.
Como funciona uma mistura de especialistas?
Um modelo denso usa todos os parâmetros em cada token. Um modelo MoE tem muitas sub-redes "especialistas" e um pequeno roteador que escolhe alguns especialistas por token. O Mixtral of Experts de Jiang e colegas dá a cada token acesso a 47 bilhões de parâmetros, mas usa apenas 13 bilhões de parâmetros ativos durante a inferência, e os autores relatam que ele supera ou iguala o Llama 2 70B e o GPT-3.5 nos testes que avaliaram. Veja também o verbete do glossário.
Quando ele poupa energia?
- Em comparação com um modelo denso de qualidade semelhante, menos parâmetros ativos geralmente significam menos computação por token.
- Quando você tem a memória. Todos os especialistas continuam tendo de ser carregados, por isso você pode precisar de tantas GPUs quanto para o modelo denso. A memória ociosa continua consumindo energia.
- Com boa utilização. Com lotes, tokens diferentes usam especialistas diferentes, o que mantém o hardware mais ocupado.
Erros comuns
- Comparar com a referência errada. Se um modelo denso pequeno atinge o seu nível de qualidade, ele geralmente vai superar os dois. Veja como escolher um modelo de IA menor.
- Contar os parâmetros ativos como o custo total. A memória, a comunicação entre GPUs e a sobrecarga do roteamento também contam.
- Não medir. Quando avaliações públicas como o AI Energy Score cobrem os seus candidatos, use-as; caso contrário, teste o desempenho dos dois no mesmo hardware.
Para o método mais amplo, leia escolher o modelo certo.
Fontes
- Mixtral of experts, Jiang et al., Mistral AI (2024)
- AI Energy Score, Hugging Face (2025)
Relacionados
Como comparo o consumo de energia de diferentes modelos de IA?
Como comparar modelos de IA por energia de forma justa: use referências como o AI Energy Score ou meça você mesmo na mesma tarefa, hardware e configuração.
Como escolho um modelo de IA menor?
Como escolher o menor modelo de IA que faz bem a sua tarefa: defina um nível de qualidade, teste do menor ao maior, veja as notas de energia e tenha um reserva.
Como reduzo a energia de servir um modelo em produção?
Como servir um modelo auto-hospedado com menos energia por pedido: runtimes eficientes, lotes, meia precisão, caches compilados e hardware testado.
Escolha o modelo certo para a tarefa
Como dimensionar a IA: quando usar modelos pequenos ou especializados, quando um modelo de fronteira compensa o custo, como funciona o roteamento e quando não usar IA.