요약
모델 앞에 라우터를 두십시오. 규칙, 작은 분류기, 또는 작은 모델을 먼저 시도하고 확신도가 낮거나 검사에 실패하면 상위 모델로 넘기는 캐스케이드가 될 수 있습니다. 발표된 라우터들은 일부 시험에서 품질을 낮추지 않고 비용을 절반 넘게 줄였습니다. 자체 데이터로 임곗값을 조정하고, 호출당이 아니라 성공한 작업당 비용을 측정하십시오.
단계
- 각 항목에 합격 기준이 있는 실제 요청으로 평가 세트를 만듭니다.
- 작은 모델이 혼자서 얼마나 자주 합격하는지 측정합니다.
- 규칙, 난이도 분류기, 검사가 있는 캐스케이드 등 라우터 설계를 고릅니다.
- 평가 세트로 상위 모델 전환 임곗값을 조정합니다.
- 전환과 재시도를 포함해 성공한 작업당 비용과 에너지를 추적합니다.
- 어느 모델이든 바뀌면 다시 조정합니다.
라우팅을 하면 큰 모델 품질의 대부분을 작은 모델에 가까운 비용으로 얻을 수 있습니다. 생각은 단순합니다. 각 요청을 잘 처리할 가능성이 높은 가장 싼 모델로 보내는 것입니다.
어떤 설계를 써야 하나요?
- 규칙. 요청 유형, 길이, 채널에 따라 보냅니다. 이해하기 쉽고, 이것으로 충분한 경우가 많습니다.
- 난이도 분류기. 작은 모델이 요청이 얼마나 어려운지 예측합니다. Ding과 동료들의 Hybrid LLM 연구는 이런 방식으로 질의를 작은 모델과 큰 모델 사이에 나누어 비용과 품질의 균형을 맞춥니다.
- 캐스케이드. 작은 모델을 먼저 시도하고, 검사에 실패하거나 확신도가 낮으면 더 큰 모델로 넘깁니다. Chen, Zaharia, Zou의 FrugalGPT는 비용 절감을 위해 이런 캐스케이드를 연구했습니다.
- 학습된 라우터. 어떤 요청에서 어떤 모델이 잘했는지로 훈련합니다. RouteLLM 연구는 일부 경우 응답 품질을 낮추지 않고 비용을 절반 넘게 줄였다고 보고했습니다.
흔한 실수
- 호출당으로 측정하는 것. 작은 모델의 실패한 시도에 큰 모델 재시도가 더해지면 처음부터 큰 모델로 가는 것보다 비쌀 수 있습니다. 수학자, 컴퓨터 과학자, 업계가 참여한 2026년 영국 그린 AI 샌드핏(집중 토론 워크숍)은 이를 에이전트 시스템의 실제 위험으로 지적했습니다. 성공한 작업당으로 측정하십시오.
- 선택을 사용자에게 떠넘기는 것. 대부분이 무시하는 드롭다운 메뉴가 아니라 시스템 안에 라우팅을 넣으십시오.
- 설정하고 잊는 것. 상위 모델 전환 비율을 기록하고 모델이 바뀌면 다시 살펴보십시오.
가장 큰 차이를 만드는 것은 무엇인가요?
좋은 평가 세트입니다. 실제 예시와 합격 기준이 없으면 임곗값을 조정하거나 절감을 입증할 수 없습니다. 평가 세트를 만드는 방법은 알맞은 모델 고르기를 읽어 보십시오.
출처
- RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
- FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)
관련 내용
작업에 맞는 모델 고르기
AI 규모를 알맞게 맞추는 법: 작거나 특화된 모델을 쓸 때, 프런티어 모델이 비용값을 할 때, 라우팅의 원리, AI를 쓰지 말아야 할 때를 설명합니다.
생성보다 오케스트레이션
검증된 구성 요소를 재사용하고 요청을 감당할 수 있는 가장 작은 모델로 보내면 왜 AI의 에너지 사용을 줄일 수 있는지, 지금까지의 근거를 살펴봅니다.
더 작은 AI 모델은 어떻게 골라야 하나요?
작업을 잘 해내는 가장 작은 AI 모델을 고르는 법. 품질 기준을 정하고, 작은 것부터 시험하고, 에너지 등급을 확인하고, 큰 모델은 예비로 둡니다.
AI 에이전트가 토큰을 낭비하지 않게 하려면 어떻게 해야 하나요?
AI 에이전트를 위한 실용적인 안전장치: 중지 조건, 단계·토큰 제한, 루프 감지, 맥락 줄이기, 간단한 단계에는 작은 모델 쓰기.