En resumen
Ponga un enrutador delante de sus modelos: una regla, un clasificador pequeño o una cascada que prueba primero un modelo pequeño y escala cuando la confianza es baja o falla una comprobación. Los enrutadores publicados han reducido los costes en más de la mitad en algunas pruebas sin empeorar la calidad. Ajuste el umbral con sus propios datos y mida el coste por tarea completada con éxito, no por llamada.
Pasos
- Cree un conjunto de evaluación de solicitudes reales con un umbral de aprobado para cada una.
- Mida con qué frecuencia aprueba un modelo pequeño por sí solo.
- Elija un diseño de enrutador, como reglas, un clasificador de dificultad o una cascada con comprobación.
- Ajuste el umbral de escalado con su conjunto de evaluación.
- Mida el coste y la energía por tarea completada con éxito, incluidos los escalados y los reintentos.
- Vuelva a ajustarlo cuando cambie cualquiera de los modelos.
El enrutamiento le da la mayor parte de la calidad de un modelo grande con buena parte del coste de uno pequeño. La idea es sencilla: enviar cada solicitud al modelo más barato que probablemente la resuelva bien.
¿Qué diseño debo usar?
- Reglas. Enrute según el tipo de solicitud, su longitud o el canal. Fáciles de entender, y a menudo suficientes.
- Clasificador de dificultad. Un modelo pequeño predice lo difícil que es una solicitud. El trabajo Hybrid LLM de Ding y sus colegas enruta así las consultas entre un modelo pequeño y uno grande, equilibrando coste y calidad.
- Cascada. Pruebe el modelo pequeño; si falla una comprobación o la confianza es baja, pase a uno más grande. FrugalGPT, de Chen, Zaharia y Zou, estudió cascadas de este tipo para reducir costes.
- Enrutador aprendido. Entrenado según qué modelo lo hizo bien con qué solicitud. El estudio RouteLLM informó de reducciones de coste de más de la mitad en algunos casos sin empeorar la calidad de las respuestas.
Errores frecuentes
- Medir por llamada. Un intento fallido con el modelo pequeño más un reintento con el grande puede costar más que ir directamente al grande. Un sandpit británico de IA verde celebrado en 2026, con matemáticos, informáticos y representantes de la industria, señaló esto como un riesgo real en los sistemas agénticos. Mida por tarea completada con éxito.
- Trasladar la elección a los usuarios. Ponga el enrutamiento en el sistema, no en un desplegable que la mayoría ignora.
- Configurarlo y olvidarlo. Registre las tasas de escalado y revíselas cuando cambien los modelos.
¿Qué marca la mayor diferencia?
Un buen conjunto de evaluación. Sin ejemplos reales y un umbral de aprobado, no puede ajustar el umbral ni demostrar el ahorro. Lea elegir el modelo adecuado para saber cómo crear uno.
Fuentes
- RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
- FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)
Relacionado
Elija el modelo adecuado para cada tarea
Cómo dimensionar bien la IA: cuándo usar modelos pequeños o especializados, cuándo compensa un modelo de frontera, cómo funciona el enrutamiento y cuándo no usar IA.
Orquestar antes que generar
Por qué reutilizar componentes verificados y dirigir cada solicitud al modelo más pequeño capaz puede reducir la energía de la IA, y qué dicen los datos.
¿Cómo elijo un modelo de IA más pequeño?
Cómo elegir el modelo de IA más pequeño que haga bien su tarea: fije un nivel de calidad, pruebe de menor a mayor y tenga uno grande de reserva.
¿Cómo evito que los agentes de IA desperdicien tokens?
Salvaguardas prácticas para agentes de IA: condiciones de parada, límites de pasos y tokens, detección de bucles, recorte del contexto y modelos pequeños para pasos simples.