Em resumo
Coloque um roteador na frente dos seus modelos: uma regra, um pequeno classificador ou uma cascata que tenta primeiro um modelo pequeno e escala quando a confiança é baixa ou uma verificação falha. Roteadores publicados cortaram os custos em mais da metade em alguns testes sem reduzir a qualidade. Ajuste o limiar com os seus próprios dados e meça o custo por tarefa bem-sucedida, não por chamada.
Passos
- Monte um conjunto de avaliação de pedidos reais, com um critério de aprovação para cada um.
- Meça com que frequência um modelo pequeno é aprovado sozinho.
- Escolha um desenho de roteador, como regras, um classificador de dificuldade ou uma cascata com verificação.
- Ajuste o limiar de escalonamento no seu conjunto de avaliação.
- Acompanhe o custo e a energia por tarefa bem-sucedida, incluindo escalonamentos e novas tentativas.
- Ajuste de novo quando qualquer um dos modelos mudar.
O roteamento dá a você a maior parte da qualidade de um modelo grande por uma parte do custo de um pequeno. A ideia é simples: enviar cada pedido para o modelo mais barato que provavelmente vai lidar bem com ele.
Que desenho devo usar?
- Regras. Encaminhe por tipo de pedido, tamanho ou canal. Fácil de entender e muitas vezes suficiente.
- Classificador de dificuldade. Um modelo pequeno prevê quão difícil é um pedido. O trabalho Hybrid LLM, de Ding e colegas, encaminha consultas entre um modelo pequeno e um grande dessa forma, equilibrando custo e qualidade.
- Cascata. Tente o modelo pequeno; se uma verificação falhar ou a confiança for baixa, passe para um maior. O FrugalGPT, de Chen, Zaharia e Zou, estudou cascatas desse tipo para cortar custos.
- Roteador aprendido. Treinado com base em qual modelo se saiu bem em qual pedido. O estudo RouteLLM relatou reduções de custo de mais da metade em alguns casos, sem reduzir a qualidade das respostas.
Erros comuns
- Medir por chamada. Uma tentativa fracassada no modelo pequeno mais uma nova tentativa no grande pode custar mais do que ir direto ao grande. Um sandpit (laboratório colaborativo) britânico de IA verde realizado em 2026, com matemáticos, cientistas da computação e a indústria, apontou isso como um risco real em sistemas agênticos. Meça por tarefa bem-sucedida.
- Jogar a escolha para os usuários. Coloque o roteamento no sistema, não num menu suspenso que a maioria das pessoas ignora.
- Definir e esquecer. Registre as taxas de escalonamento e revise quando os modelos mudarem.
O que faz a maior diferença?
Um bom conjunto de avaliação. Sem exemplos reais e um critério de aprovação, você não consegue ajustar o limiar nem comprovar a economia. Leia escolher o modelo certo para saber como montar um.
Fontes
- RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
- FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)
Relacionados
Escolha o modelo certo para a tarefa
Como dimensionar a IA: quando usar modelos pequenos ou especializados, quando um modelo de fronteira compensa o custo, como funciona o roteamento e quando não usar IA.
Orquestração em vez de geração
Por que reutilizar componentes verificados e direcionar pedidos ao menor modelo capaz pode reduzir a energia da IA, e o que as evidências mostram.
Como escolho um modelo de IA menor?
Como escolher o menor modelo de IA que faz bem a sua tarefa: defina um nível de qualidade, teste do menor ao maior, veja as notas de energia e tenha um reserva.
Como evito que agentes de IA desperdicem tokens?
Proteções práticas para agentes de IA: condições de parada, limites de passos e tokens, deteção de loops, corte de contexto e modelos pequenos para passos simples.