# 요청을 더 작은 모델로 보내려면 어떻게 해야 하나요?

> 일상적인 요청은 작은 모델로, 어려운 요청만 큰 모델로 보내는 방법과, 재시도가 절감을 갉아먹지 않게 라우터를 조정하는 법입니다.

Source: https://greenai.guide/ko/방법/요청을-더-작은-모델로-보내려면-어떻게-해야-하나요/  
Updated: 2026-11-19

## 요약

모델 앞에 라우터를 두십시오. 규칙, 작은 분류기, 또는 작은 모델을 먼저 시도하고 확신도가 낮거나 검사에 실패하면 상위 모델로 넘기는 캐스케이드가 될 수 있습니다. 발표된 라우터들은 일부 시험에서 품질을 낮추지 않고 비용을 절반 넘게 줄였습니다. 자체 데이터로 임곗값을 조정하고, 호출당이 아니라 성공한 작업당 비용을 측정하십시오.

## Steps

1. 각 항목에 합격 기준이 있는 실제 요청으로 평가 세트를 만듭니다.
2. 작은 모델이 혼자서 얼마나 자주 합격하는지 측정합니다.
3. 규칙, 난이도 분류기, 검사가 있는 캐스케이드 등 라우터 설계를 고릅니다.
4. 평가 세트로 상위 모델 전환 임곗값을 조정합니다.
5. 전환과 재시도를 포함해 성공한 작업당 비용과 에너지를 추적합니다.
6. 어느 모델이든 바뀌면 다시 조정합니다.

**라우팅을 하면 큰 모델 품질의 대부분을 작은 모델에 가까운 비용으로 얻을 수 있습니다.** 생각은 단순합니다. 각 요청을 잘 처리할 가능성이 높은 가장 싼 모델로 보내는 것입니다.

## 어떤 설계를 써야 하나요? {#which-design-should-i-use}

- **규칙.** 요청 유형, 길이, 채널에 따라 보냅니다. 이해하기 쉽고, 이것으로 충분한 경우가 많습니다.
- **난이도 분류기.** 작은 모델이 요청이 얼마나 어려운지 예측합니다. Ding과 동료들의 Hybrid LLM 연구는 이런 방식으로 질의를 작은 모델과 큰 모델 사이에 나누어 비용과 품질의 균형을 맞춥니다.
- **캐스케이드.** 작은 모델을 먼저 시도하고, 검사에 실패하거나 확신도가 낮으면 더 큰 모델로 넘깁니다. Chen, Zaharia, Zou의 FrugalGPT는 비용 절감을 위해 이런 캐스케이드를 연구했습니다.
- **학습된 라우터.** 어떤 요청에서 어떤 모델이 잘했는지로 훈련합니다. RouteLLM 연구는 일부 경우 응답 품질을 낮추지 않고 비용을 절반 넘게 줄였다고 보고했습니다.

## 흔한 실수 {#common-mistakes}

- **호출당으로 측정하는 것.** 작은 모델의 실패한 시도에 큰 모델 재시도가 더해지면 처음부터 큰 모델로 가는 것보다 비쌀 수 있습니다. 수학자, 컴퓨터 과학자, 업계가 참여한 2026년 영국 그린 AI 샌드핏(집중 토론 워크숍)은 이를 에이전트 시스템의 실제 위험으로 지적했습니다. 성공한 작업당으로 측정하십시오.
- **선택을 사용자에게 떠넘기는 것.** 대부분이 무시하는 드롭다운 메뉴가 아니라 시스템 안에 라우팅을 넣으십시오.
- **설정하고 잊는 것.** 상위 모델 전환 비율을 기록하고 모델이 바뀌면 다시 살펴보십시오.

## 가장 큰 차이를 만드는 것은 무엇인가요? {#what-makes-the-biggest-difference}

**좋은 평가 세트입니다.** 실제 예시와 합격 기준이 없으면 임곗값을 조정하거나 절감을 입증할 수 없습니다. 평가 세트를 만드는 방법은 [알맞은 모델 고르기](/ko/모범-사례/작업에-맞는-모델-고르기/)를 읽어 보십시오.

## 출처

- [RouteLLM: learning to route LLMs with preference data](https://arxiv.org/abs/2406.18665), Ong et al., ICLR 2025 (2024)
- [FrugalGPT: how to use large language models while reducing cost and improving performance](https://arxiv.org/abs/2305.05176), Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- [Hybrid LLM: cost-efficient and quality-aware query routing](https://arxiv.org/abs/2404.14618), Ding et al., ICLR (2024)
