En resumen
Un modelo de mezcla de expertos dirige cada token a unas pocas subredes especializadas, de modo que solo una parte del modelo trabaja por token. Mixtral, por ejemplo, tiene 47.000 millones de parámetros, pero usa 13.000 millones por token. Eso puede reducir el cómputo por respuesta frente a un modelo denso de calidad similar, pero todos los expertos deben estar igualmente en memoria, así que compare la calidad, la latencia y la energía por solicitud en su propio hardware.
Pasos
- Preseleccione un modelo de mezcla de expertos y un modelo denso de calidad similar para su tarea.
- Compruebe que ambos caben en la memoria de GPU disponible, contando todos los expertos.
- Ejecute ambos con su conjunto de evaluación y su tamaño de lote real.
- Compare la calidad, la latencia y la energía por solicitud una junto a otra.
- Elija teniendo en cuenta las tres, y considere un modelo denso más pequeño si alcanza el nivel.
Los modelos de mezcla de expertos (MoE) pueden ofrecer la calidad de un modelo grande con menos cómputo por token, pero no con menos memoria. Que le ahorren energía depende de su hardware y de su tráfico.
¿Cómo funciona una mezcla de expertos?
Un modelo denso usa todos sus parámetros para cada token. Un modelo MoE tiene muchas subredes «expertas» y un pequeño enrutador que elige unos pocos expertos por token. El Mixtral of Experts de Jiang y sus colegas da a cada token acceso a 47.000 millones de parámetros, pero solo usa 13.000 millones de parámetros activos durante la inferencia, y los autores afirman que supera o iguala a Llama 2 70B y GPT-3.5 en las pruebas de referencia que evaluaron. Consulte también la entrada del glosario.
¿Cuándo ahorra energía?
- Frente a un modelo denso de calidad similar, menos parámetros activos suelen significar menos cómputo por token.
- Cuando dispone de memoria. Todos los expertos tienen que cargarse igualmente, así que puede necesitar tantas GPU como para el modelo denso. La memoria ociosa sigue consumiendo energía.
- Con una buena utilización. Con el procesamiento por lotes, distintos tokens usan distintos expertos, lo que mantiene el hardware más ocupado.
Errores frecuentes
- Comparar con la referencia equivocada. Si un modelo denso pequeño alcanza su nivel de calidad, normalmente superará a ambos. Consulte cómo elegir un modelo de IA más pequeño.
- Contar los parámetros activos como el coste total. La memoria, la comunicación entre GPU y la sobrecarga del enrutamiento también cuentan.
- No medir. Cuando calificaciones públicas como el AI Energy Score cubran a sus candidatos, úselas; si no, pruebe ambos en el mismo hardware.
Para el método más amplio, lea elegir el modelo adecuado.
Fuentes
- Mixtral of experts, Jiang et al., Mistral AI (2024)
- AI Energy Score, Hugging Face (2025)
Relacionado
¿Cómo comparo el consumo de energía de distintos modelos de IA?
Cómo comparar con justicia la energía de los modelos de IA: use referencias como el AI Energy Score o mídalos usted con la misma tarea, hardware y ajustes.
¿Cómo elijo un modelo de IA más pequeño?
Cómo elegir el modelo de IA más pequeño que haga bien su tarea: fije un nivel de calidad, pruebe de menor a mayor y tenga uno grande de reserva.
¿Cómo reduzco la energía de servir un modelo en producción?
Cómo servir un modelo autoalojado con menos energía por solicitud: entornos de ejecución eficientes, lotes, media precisión, cachés compiladas y hardware probado.
Elija el modelo adecuado para cada tarea
Cómo dimensionar bien la IA: cuándo usar modelos pequeños o especializados, cuándo compensa un modelo de frontera, cómo funciona el enrutamiento y cuándo no usar IA.