# 작업에 맞는 모델 고르기

> AI 규모를 알맞게 맞추는 법: 작거나 특화된 모델을 쓸 때, 프런티어 모델이 비용값을 할 때, 라우팅의 원리, AI를 쓰지 말아야 할 때를 설명합니다.

Source: https://greenai.guide/ko/모범-사례/작업에-맞는-모델-고르기/  
Updated: 2026-11-19

## 요약

품질 기준을 충족하는 가장 작은 모델, 또는 가장 단순한 비AI 방법을 쓰고, 대형 범용 모델은 꼭 필요한 경우에만 쓰세요. 작업 특화 모델은 범용 생성형 모델이 쓰는 에너지의 극히 일부만 쓸 수 있으며, 라우팅을 이용하면 두 가지의 장점을 대부분 얻을 수 있습니다.

## 핵심 내용

- 먼저 그 작업에 AI가 정말 필요한지 물어보세요. 규칙, 검색 또는 고전적 알고리즘으로 충분한 경우가 많습니다.
- 같은 작업에서 작업 특화 모델은 다목적 생성형 모델보다 실행 비용이 수십~수백 배 이상 낮은 것으로 나타났습니다.
- UNESCO와 UCL은 작은 작업 특화 모델이 에너지 사용을 최대 90%까지 줄일 수 있다고 보고합니다.
- 라우팅은 쉬운 요청은 작은 모델로, 어려운 요청은 큰 모델로 보냅니다. 작은 모델의 실패와 재시도가 더 많은 비용을 낳을 수 있으므로 임곗값을 신중하게 정하세요.
- 하이브리드 파이프라인은 대부분의 단계에 고전적 방법이나 물리 기반 방법을 쓰고, 가치를 더하는 부분에만 작은 신경망을 씁니다.

## 모델 선택은 왜 그렇게 중요한가요? {#why-does-model-choice-matter-so-much}

**모델 선택은 대개 AI 기능의 에너지 사용에 가장 큰 영향을 주는 단일 요인입니다.** 같은 작업이라도 실행 비용이
수십~수백 배 이상 차이 나는 모델들로 처리할 수 있습니다.

ACM FAccT 2024에 발표된 체계적 비교 연구에서 Luccioni, Jernite, Strubell은 여러 작업과 모델에 걸쳐 추론 1,000회를
실행하는 데 드는 에너지를 측정했습니다. 그 결과, 모델 크기를 통제한 경우에도 같은 작업에서 다목적 생성형 모델이
작업 특화 시스템보다 수십~수백 배 이상 비싸다는 사실을 발견했습니다. 2025년 UNESCO와 UCL 보고서는 특정 작업에
맞춘 작은 모델이 에너지 사용을 최대 90%까지 줄일 수 있다고 밝혔습니다.

원리는 간단합니다. 범용 모델은 요청할 때마다, 여러분의 작업에서는 전혀 쓰지 않는 지식과 능력의 비용까지 치릅니다.

## 이 작업에 AI가 정말 필요한가요? {#does-this-task-need-ai-at-all}

**먼저 AI가 아닌 방법으로 이미 그 일을 할 수 있는지 확인하세요.** 가장 저렴한 추론은 아예 실행하지 않는 추론입니다.

수학자, 컴퓨터 과학자, 산업계가 함께한 2026년 영국 그린 AI 샌드핏(집중 토론 워크숍)에서도 이 점이 거듭 강조되었습니다.
잘 알려진 알고리즘이 이미 있는데도 사람들이 AI부터 찾는 경우가 많고, 가장 친환경적인 계산은 피할 수 있는 계산인 경우가
많다는 것입니다. W3C Web Sustainability Guidelines도 마찬가지로 AI를 도입하기 전에 그 필요성을 평가하라고 권합니다.

다음을 물어보세요.

- **규칙, 조회표 또는 정규 표현식**으로 할 수 있나요?
- 여러분 자체 콘텐츠를 **검색**해서 질문에 답할 수 있나요?
- **확립된 수치적 또는 통계적 방법**(최적화기, 회귀, 솔버)이 있나요?
- 답이 **정확히 재현 가능하거나 감사 가능해야** 하나요? 결정론적 방법은 점검하기가 더 쉽습니다.
- 얼마나 자주 실행되나요? 수백만 번 쓰이는 기능은 일회성 기능보다 설계에 더 공을 들일 가치가 있습니다.

AI는 시간을 아껴 줄 때도 공짜가 아닙니다. 12개 프로그래밍 과제에서 수작업 코딩과 AI 보조 코딩을 비교한 2025년 연구에
따르면, AI 보조 방식의 탄소 발자국이 평균적으로 수작업 방식의 약 33배였으며, 과제가 어려워질수록 그 격차가 커졌습니다.
그렇다고 어시스턴트를 절대 쓰지 말라는 뜻은 아닙니다. 확실히 그만한 값을 하는 곳에 쓰라는 뜻입니다.

## 소형, 특화, 아니면 프런티어? {#small-specialised-or-frontier}

**가장 성능이 뛰어난 모델이 아니라 작업에 모델을 맞추세요.**

| 작업 유형 | 대개 이것으로 충분 | 더 큰 모델이 필요할 때 |
|---|---|---|
| 분류, 태깅, 라우팅, 스팸 또는 감성 분석 | 작은 작업 특화 분류기 | 드묾 |
| 문서에서 필드 추출 | 작거나 미세 조정된 모델, 또는 규칙 | 복잡하고 다양한 레이아웃 |
| 자체 콘텐츠에 대한 검색과 질의응답 | 검색에 작거나 중간 크기 모델을 더한 것 | 여러 문서에 걸친 복잡한 추론 |
| 번역, 요약 | 중간 크기 또는 특화 모델 | 중요도가 높거나 미묘한 텍스트 |
| 개방형 추론, 계획, 어려운 코드 | 대형 범용 모델 | 이런 곳에서 비용값을 합니다 |

특화된 작은 모델은 여러 경로로 얻을 수 있으며,
[효율적인 훈련과 추론](/ko/모범-사례/효율적인-ai-훈련과-추론/)에서 다룹니다.

- **증류(distillation):** 큰 "교사" 모델이 작은 "학생" 모델을 훈련합니다. DistilBERT는 BERT보다 40% 작고 60%
  빠르면서도 언어 이해 능력의 97%를 유지했습니다.
- 여러분의 작업 데이터로 **작은 모델을 미세 조정**합니다.
- 기존 모델의 **양자화 버전**을 씁니다. 메모리와 에너지가 덜 듭니다.

공개 벤치마크가 있다면 품질뿐 아니라 에너지로도 후보를 비교하세요. Hugging Face의 AI Energy Score는 흔히 쓰이는
10가지 작업에서 쿼리 1,000건당 GPU 에너지로 모델을 평가하며, 같은 작업의 다른 모델과 비교해 별 1~5개를 매깁니다.

## 모델 라우팅은 어떻게 작동하나요? {#how-does-model-routing-work}

**라우터는 각 요청을 잘 답할 가능성이 높은 가장 저렴한 모델로 보내고, 필요할 때만 더 큰 모델로 넘깁니다.**

흔한 설계는 다음과 같습니다.

1. **분류기 우선:** 작은 모델이나 규칙 집합이 요청의 난이도를 예측해 모델을 고릅니다.
2. **캐스케이드:** 작은 모델을 먼저 시도하고, 신뢰도가 낮거나 점검에 실패하면 더 큰 모델로 넘깁니다.
3. **학습된 라우터:** 어떤 요청에서 어떤 모델이 잘했는지에 대한 예시로 훈련합니다. RouteLLM 연구는 일부 경우에
   응답 품질을 떨어뜨리지 않고 비용을 절반 넘게 줄였다고 보고했습니다.

### 임곗값을 신중하게 정하세요 {#set-the-threshold-carefully}

샌드핏에서는 중요한 단서가 제기되었습니다. 에이전트형 시스템에서는 너무 작은 모델이 실패해 큰 모델로 다시 실행해야
할 수 있습니다. 저렴한 시도가 실패하고 비싼 재시도가 더해지면, 처음부터 큰 모델을 쓰는 것보다 비용이 더 들 수 있습니다.
따라서 다음과 같이 하세요.

- 호출당이 아니라 **성공한** 작업당 전체 비용을 측정하세요.
- 상위 모델로 넘기는 임곗값을 여러분 자체 데이터로 조정하세요.
- 요청이 얼마나 자주 상위 모델로 넘어가는지 기록하고, 모델이 바뀌면 다시 검토하세요.
- 라우팅 결정은 최종 사용자가 아니라 시스템이 내리게 하세요.

## 하이브리드 파이프라인이란 무엇인가요? {#what-are-hybrid-pipelines}

**하이브리드 파이프라인은 대부분의 단계에 고전적, 물리 기반 또는 규칙 기반 방법을 쓰고, 가치를 더하는 부분에만
작은 모델을 씁니다.** 처음부터 끝까지 신경망으로 처리하는 방식보다 더 저렴하고, 더 정확하며, 더 믿을 만한 경우가 많습니다.

예를 들면 다음과 같습니다.

- 물리 모델이나 수치 모델이 시뮬레이션을 맡고, 작은 학습 구성 요소가 그중 가장 비용이 많이 드는 부분만
  대체합니다("대리 모델(surrogate)").
- 결정론적 코드가 파싱, 검증, 서식을 처리하고, 모델은 자유 텍스트 판단만 맡습니다.
- 생성형 모델이 계획하거나 선택하지만, 결과물은 매번 새로 생성하지 않고 미리 점검된 구성 요소 라이브러리에서
  조립합니다. [생성보다 오케스트레이션](/ko/기사/생성보다-오케스트레이션/)을 참고하세요.

샌드핏에서는 수학적 또는 물리적 구조(대칭성, 보존 법칙, 볼록성)를 모델에 내장해 매개변수와 훈련을 줄이는 방법도
논의했습니다. [효율적인 AI를 위한 수학](/ko/기사/ai를-더-효율적으로-만드는-수학/)을 참고하세요.

## 점검 목록 {#checklist}

- [ ] 가장 단순한 비AI 방법을 먼저 적어 두고 시험함
- [ ] 여러분의 실제 사례로 품질 기준을 정의함
- [ ] 작거나 작업 특화된 모델을 하나 이상 그 기준에 따라 시험함
- [ ] 후보별 요청당 에너지를 같은 방식으로 측정해 비교함
- [ ] 작은 모델이 기준을 통과하지 못하는 곳에만 대형 모델을 씀
- [ ] 재시도를 포함해 성공한 작업당 라우팅 비용을 측정함
- [ ] 선택 내용을 검토 날짜와 함께 기록함

## 다음에 할 일 {#what-to-do-next}

1. AI 기능 목록을 만들고, 더 작은 모델이나 고전적 방법을 쓰거나 AI 없이 할 수 있는 기능을 표시하세요.
2. 합격 기준이 있는 실제 사례로 작은 평가 세트를 만드세요.
3. 두세 가지 크기의 모델을 그 세트로 시험하고, 각각의 [에너지를 측정](/ko/모범-사례/ai의-에너지와-탄소를-측정하는-방법/)하세요.
4. 사용량이 많은 기능 하나에서 라우팅을 시범 운영하고, 성공한 작업당 비용을 추적하세요.
5. "기준을 충족하는 가장 작은 모델을 쓴다"를 [그린 AI 정책](/ko/모범-사례/그린-ai-정책-작성-방법/)에 넣으세요.
6. 공급업체에 어떤 크기의 모델을 제공하는지, 요청당 에너지는 얼마인지 물어보세요.
   [지속 가능한 AI 조달](/ko/모범-사례/지속-가능한-ai-조달/)을 참고하세요.

## 자주 묻는 질문

### 소형 언어 모델로 충분한가요?

분류, 추출, 라우팅처럼 잘 정의된 많은 작업에서는 그렇습니다. 결정하기 전에 명확한 품질 기준에 따라 여러분의 실제 사례로 시험해 보세요.

### 모델 라우팅이란 무엇인가요?

라우터는 각 요청을 살펴보고, 그 요청을 잘 처리할 가능성이 높은 가장 저렴한 모델로 보내며, 필요할 때만 더 큰 모델로 넘깁니다. 공개된 라우터 중에는 일부 시험에서 품질을 떨어뜨리지 않고 비용을 절반 넘게 줄인 사례가 있습니다.

### AI를 쓰지 말아야 할 때는 언제인가요?

규칙, 조회, 검색 또는 확립된 수치 방법이 이미 그 작업을 안정적으로 해낼 때입니다. 이런 방법은 대개 더 저렴하고, 더 빠르고, 더 예측 가능하며, 점검하기도 쉽습니다.

### 더 큰 모델이 항상 더 정확한가요?

아닙니다. 범위가 좁은 작업에서는 미세 조정되었거나 증류된 작은 모델이 범용 모델과 대등하거나 더 나을 수 있고, 그 오류도 이해하기 더 쉬운 경우가 많습니다.

## 출처

- [Power Hungry Processing: Watts Driving the Cost of AI Deployment?](https://arxiv.org/abs/2311.16863), Luccioni, Jernite and Strubell, ACM FAccT 2024 (arXiv 2311.16863) (2024)
- [AI large language models: new report shows small changes can reduce energy use by 90%](https://www.unesco.org/en/articles/ai-large-language-models-new-report-shows-small-changes-can-reduce-energy-use-90), UNESCO (2025)
- [RouteLLM: Learning to Route LLMs with Preference Data](https://arxiv.org/abs/2406.18665), Ong et al. (arXiv 2406.18665) (2024)
- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
- [Comparative Analysis of Carbon Footprint in Manual vs. LLM-Assisted Code Development](https://arxiv.org/abs/2505.04521), arXiv 2505.04521 (2025)
- [Green Software Patterns: right-sized, energy-efficient AI models](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/right-sized-energy-efficient-ai-models.md), Green Software Foundation (2025)
- [AI Energy Score](https://huggingface.github.io/AIEnergyScore/), Hugging Face (2025)
- [Web Sustainability Guidelines](https://www.w3.org/TR/web-sustainability-guidelines/), W3C (2025)
