greenai.guide

홈 › 어떻게 하나요? › 요청을 더 작은 모델로 보내려면 어떻게 해야 하나요?

어떻게 하나요?

요청을 더 작은 모델로 보내려면 어떻게 해야 하나요?

업데이트 · 1분 분량

요약

모델 앞에 라우터를 두십시오. 규칙, 작은 분류기, 또는 작은 모델을 먼저 시도하고 확신도가 낮거나 검사에 실패하면 상위 모델로 넘기는 캐스케이드가 될 수 있습니다. 발표된 라우터들은 일부 시험에서 품질을 낮추지 않고 비용을 절반 넘게 줄였습니다. 자체 데이터로 임곗값을 조정하고, 호출당이 아니라 성공한 작업당 비용을 측정하십시오.

단계

  1. 각 항목에 합격 기준이 있는 실제 요청으로 평가 세트를 만듭니다.
  2. 작은 모델이 혼자서 얼마나 자주 합격하는지 측정합니다.
  3. 규칙, 난이도 분류기, 검사가 있는 캐스케이드 등 라우터 설계를 고릅니다.
  4. 평가 세트로 상위 모델 전환 임곗값을 조정합니다.
  5. 전환과 재시도를 포함해 성공한 작업당 비용과 에너지를 추적합니다.
  6. 어느 모델이든 바뀌면 다시 조정합니다.

라우팅을 하면 큰 모델 품질의 대부분을 작은 모델에 가까운 비용으로 얻을 수 있습니다. 생각은 단순합니다. 각 요청을 잘 처리할 가능성이 높은 가장 싼 모델로 보내는 것입니다.

어떤 설계를 써야 하나요?

  • 규칙. 요청 유형, 길이, 채널에 따라 보냅니다. 이해하기 쉽고, 이것으로 충분한 경우가 많습니다.
  • 난이도 분류기. 작은 모델이 요청이 얼마나 어려운지 예측합니다. Ding과 동료들의 Hybrid LLM 연구는 이런 방식으로 질의를 작은 모델과 큰 모델 사이에 나누어 비용과 품질의 균형을 맞춥니다.
  • 캐스케이드. 작은 모델을 먼저 시도하고, 검사에 실패하거나 확신도가 낮으면 더 큰 모델로 넘깁니다. Chen, Zaharia, Zou의 FrugalGPT는 비용 절감을 위해 이런 캐스케이드를 연구했습니다.
  • 학습된 라우터. 어떤 요청에서 어떤 모델이 잘했는지로 훈련합니다. RouteLLM 연구는 일부 경우 응답 품질을 낮추지 않고 비용을 절반 넘게 줄였다고 보고했습니다.

흔한 실수

  • 호출당으로 측정하는 것. 작은 모델의 실패한 시도에 큰 모델 재시도가 더해지면 처음부터 큰 모델로 가는 것보다 비쌀 수 있습니다. 수학자, 컴퓨터 과학자, 업계가 참여한 2026년 영국 그린 AI 샌드핏(집중 토론 워크숍)은 이를 에이전트 시스템의 실제 위험으로 지적했습니다. 성공한 작업당으로 측정하십시오.
  • 선택을 사용자에게 떠넘기는 것. 대부분이 무시하는 드롭다운 메뉴가 아니라 시스템 안에 라우팅을 넣으십시오.
  • 설정하고 잊는 것. 상위 모델 전환 비율을 기록하고 모델이 바뀌면 다시 살펴보십시오.

가장 큰 차이를 만드는 것은 무엇인가요?

좋은 평가 세트입니다. 실제 예시와 합격 기준이 없으면 임곗값을 조정하거나 절감을 입증할 수 없습니다. 평가 세트를 만드는 방법은 알맞은 모델 고르기를 읽어 보십시오.

출처

  1. RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
  2. FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
  3. Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)

함께하기

AI가 지구에 미치는 영향을 함께 줄여 주세요

새 가이드, 지원 공모, 디렉터리 등록 소식을 한 달에 한 번 정도 이메일로 받아 보세요. 또는 제품, 강좌, 박사 과정, 연구를 디렉터리에 추가하세요.

추적하지 않습니다. 클릭 한 번으로 구독을 해지할 수 있습니다. 다른 참여 방법 · 개인정보 보호