greenai.guide

홈 › 모범 사례 › 작업에 맞는 모델 고르기

모범 사례

작업에 맞는 모델 고르기

업데이트 · 4분 분량

요약

품질 기준을 충족하는 가장 작은 모델, 또는 가장 단순한 비AI 방법을 쓰고, 대형 범용 모델은 꼭 필요한 경우에만 쓰세요. 작업 특화 모델은 범용 생성형 모델이 쓰는 에너지의 극히 일부만 쓸 수 있으며, 라우팅을 이용하면 두 가지의 장점을 대부분 얻을 수 있습니다.

핵심 내용

  • 먼저 그 작업에 AI가 정말 필요한지 물어보세요. 규칙, 검색 또는 고전적 알고리즘으로 충분한 경우가 많습니다.
  • 같은 작업에서 작업 특화 모델은 다목적 생성형 모델보다 실행 비용이 수십~수백 배 이상 낮은 것으로 나타났습니다.
  • UNESCO와 UCL은 작은 작업 특화 모델이 에너지 사용을 최대 90%까지 줄일 수 있다고 보고합니다.
  • 라우팅은 쉬운 요청은 작은 모델로, 어려운 요청은 큰 모델로 보냅니다. 작은 모델의 실패와 재시도가 더 많은 비용을 낳을 수 있으므로 임곗값을 신중하게 정하세요.
  • 하이브리드 파이프라인은 대부분의 단계에 고전적 방법이나 물리 기반 방법을 쓰고, 가치를 더하는 부분에만 작은 신경망을 씁니다.

모델 선택은 왜 그렇게 중요한가요?

모델 선택은 대개 AI 기능의 에너지 사용에 가장 큰 영향을 주는 단일 요인입니다. 같은 작업이라도 실행 비용이 수십~수백 배 이상 차이 나는 모델들로 처리할 수 있습니다.

ACM FAccT 2024에 발표된 체계적 비교 연구에서 Luccioni, Jernite, Strubell은 여러 작업과 모델에 걸쳐 추론 1,000회를 실행하는 데 드는 에너지를 측정했습니다. 그 결과, 모델 크기를 통제한 경우에도 같은 작업에서 다목적 생성형 모델이 작업 특화 시스템보다 수십~수백 배 이상 비싸다는 사실을 발견했습니다. 2025년 UNESCO와 UCL 보고서는 특정 작업에 맞춘 작은 모델이 에너지 사용을 최대 90%까지 줄일 수 있다고 밝혔습니다.

원리는 간단합니다. 범용 모델은 요청할 때마다, 여러분의 작업에서는 전혀 쓰지 않는 지식과 능력의 비용까지 치릅니다.

이 작업에 AI가 정말 필요한가요?

먼저 AI가 아닌 방법으로 이미 그 일을 할 수 있는지 확인하세요. 가장 저렴한 추론은 아예 실행하지 않는 추론입니다.

수학자, 컴퓨터 과학자, 산업계가 함께한 2026년 영국 그린 AI 샌드핏(집중 토론 워크숍)에서도 이 점이 거듭 강조되었습니다. 잘 알려진 알고리즘이 이미 있는데도 사람들이 AI부터 찾는 경우가 많고, 가장 친환경적인 계산은 피할 수 있는 계산인 경우가 많다는 것입니다. W3C Web Sustainability Guidelines도 마찬가지로 AI를 도입하기 전에 그 필요성을 평가하라고 권합니다.

다음을 물어보세요.

  • 규칙, 조회표 또는 정규 표현식으로 할 수 있나요?
  • 여러분 자체 콘텐츠를 검색해서 질문에 답할 수 있나요?
  • 확립된 수치적 또는 통계적 방법(최적화기, 회귀, 솔버)이 있나요?
  • 답이 정확히 재현 가능하거나 감사 가능해야 하나요? 결정론적 방법은 점검하기가 더 쉽습니다.
  • 얼마나 자주 실행되나요? 수백만 번 쓰이는 기능은 일회성 기능보다 설계에 더 공을 들일 가치가 있습니다.

AI는 시간을 아껴 줄 때도 공짜가 아닙니다. 12개 프로그래밍 과제에서 수작업 코딩과 AI 보조 코딩을 비교한 2025년 연구에 따르면, AI 보조 방식의 탄소 발자국이 평균적으로 수작업 방식의 약 33배였으며, 과제가 어려워질수록 그 격차가 커졌습니다. 그렇다고 어시스턴트를 절대 쓰지 말라는 뜻은 아닙니다. 확실히 그만한 값을 하는 곳에 쓰라는 뜻입니다.

소형, 특화, 아니면 프런티어?

가장 성능이 뛰어난 모델이 아니라 작업에 모델을 맞추세요.

작업 유형 대개 이것으로 충분 더 큰 모델이 필요할 때
분류, 태깅, 라우팅, 스팸 또는 감성 분석 작은 작업 특화 분류기 드묾
문서에서 필드 추출 작거나 미세 조정된 모델, 또는 규칙 복잡하고 다양한 레이아웃
자체 콘텐츠에 대한 검색과 질의응답 검색에 작거나 중간 크기 모델을 더한 것 여러 문서에 걸친 복잡한 추론
번역, 요약 중간 크기 또는 특화 모델 중요도가 높거나 미묘한 텍스트
개방형 추론, 계획, 어려운 코드 대형 범용 모델 이런 곳에서 비용값을 합니다

특화된 작은 모델은 여러 경로로 얻을 수 있으며, 효율적인 훈련과 추론에서 다룹니다.

  • 증류(distillation): 큰 "교사" 모델이 작은 "학생" 모델을 훈련합니다. DistilBERT는 BERT보다 40% 작고 60% 빠르면서도 언어 이해 능력의 97%를 유지했습니다.
  • 여러분의 작업 데이터로 작은 모델을 미세 조정합니다.
  • 기존 모델의 양자화 버전을 씁니다. 메모리와 에너지가 덜 듭니다.

공개 벤치마크가 있다면 품질뿐 아니라 에너지로도 후보를 비교하세요. Hugging Face의 AI Energy Score는 흔히 쓰이는 10가지 작업에서 쿼리 1,000건당 GPU 에너지로 모델을 평가하며, 같은 작업의 다른 모델과 비교해 별 1~5개를 매깁니다.

모델 라우팅은 어떻게 작동하나요?

라우터는 각 요청을 잘 답할 가능성이 높은 가장 저렴한 모델로 보내고, 필요할 때만 더 큰 모델로 넘깁니다.

흔한 설계는 다음과 같습니다.

  1. 분류기 우선: 작은 모델이나 규칙 집합이 요청의 난이도를 예측해 모델을 고릅니다.
  2. 캐스케이드: 작은 모델을 먼저 시도하고, 신뢰도가 낮거나 점검에 실패하면 더 큰 모델로 넘깁니다.
  3. 학습된 라우터: 어떤 요청에서 어떤 모델이 잘했는지에 대한 예시로 훈련합니다. RouteLLM 연구는 일부 경우에 응답 품질을 떨어뜨리지 않고 비용을 절반 넘게 줄였다고 보고했습니다.

임곗값을 신중하게 정하세요

샌드핏에서는 중요한 단서가 제기되었습니다. 에이전트형 시스템에서는 너무 작은 모델이 실패해 큰 모델로 다시 실행해야 할 수 있습니다. 저렴한 시도가 실패하고 비싼 재시도가 더해지면, 처음부터 큰 모델을 쓰는 것보다 비용이 더 들 수 있습니다. 따라서 다음과 같이 하세요.

  • 호출당이 아니라 성공한 작업당 전체 비용을 측정하세요.
  • 상위 모델로 넘기는 임곗값을 여러분 자체 데이터로 조정하세요.
  • 요청이 얼마나 자주 상위 모델로 넘어가는지 기록하고, 모델이 바뀌면 다시 검토하세요.
  • 라우팅 결정은 최종 사용자가 아니라 시스템이 내리게 하세요.

하이브리드 파이프라인이란 무엇인가요?

하이브리드 파이프라인은 대부분의 단계에 고전적, 물리 기반 또는 규칙 기반 방법을 쓰고, 가치를 더하는 부분에만 작은 모델을 씁니다. 처음부터 끝까지 신경망으로 처리하는 방식보다 더 저렴하고, 더 정확하며, 더 믿을 만한 경우가 많습니다.

예를 들면 다음과 같습니다.

  • 물리 모델이나 수치 모델이 시뮬레이션을 맡고, 작은 학습 구성 요소가 그중 가장 비용이 많이 드는 부분만 대체합니다("대리 모델(surrogate)").
  • 결정론적 코드가 파싱, 검증, 서식을 처리하고, 모델은 자유 텍스트 판단만 맡습니다.
  • 생성형 모델이 계획하거나 선택하지만, 결과물은 매번 새로 생성하지 않고 미리 점검된 구성 요소 라이브러리에서 조립합니다. 생성보다 오케스트레이션을 참고하세요.

샌드핏에서는 수학적 또는 물리적 구조(대칭성, 보존 법칙, 볼록성)를 모델에 내장해 매개변수와 훈련을 줄이는 방법도 논의했습니다. 효율적인 AI를 위한 수학을 참고하세요.

점검 목록

  • [ ] 가장 단순한 비AI 방법을 먼저 적어 두고 시험함
  • [ ] 여러분의 실제 사례로 품질 기준을 정의함
  • [ ] 작거나 작업 특화된 모델을 하나 이상 그 기준에 따라 시험함
  • [ ] 후보별 요청당 에너지를 같은 방식으로 측정해 비교함
  • [ ] 작은 모델이 기준을 통과하지 못하는 곳에만 대형 모델을 씀
  • [ ] 재시도를 포함해 성공한 작업당 라우팅 비용을 측정함
  • [ ] 선택 내용을 검토 날짜와 함께 기록함

다음에 할 일

  1. AI 기능 목록을 만들고, 더 작은 모델이나 고전적 방법을 쓰거나 AI 없이 할 수 있는 기능을 표시하세요.
  2. 합격 기준이 있는 실제 사례로 작은 평가 세트를 만드세요.
  3. 두세 가지 크기의 모델을 그 세트로 시험하고, 각각의 에너지를 측정하세요.
  4. 사용량이 많은 기능 하나에서 라우팅을 시범 운영하고, 성공한 작업당 비용을 추적하세요.
  5. "기준을 충족하는 가장 작은 모델을 쓴다"를 그린 AI 정책에 넣으세요.
  6. 공급업체에 어떤 크기의 모델을 제공하는지, 요청당 에너지는 얼마인지 물어보세요. 지속 가능한 AI 조달을 참고하세요.

자주 묻는 질문

소형 언어 모델로 충분한가요?

분류, 추출, 라우팅처럼 잘 정의된 많은 작업에서는 그렇습니다. 결정하기 전에 명확한 품질 기준에 따라 여러분의 실제 사례로 시험해 보세요.

모델 라우팅이란 무엇인가요?

라우터는 각 요청을 살펴보고, 그 요청을 잘 처리할 가능성이 높은 가장 저렴한 모델로 보내며, 필요할 때만 더 큰 모델로 넘깁니다. 공개된 라우터 중에는 일부 시험에서 품질을 떨어뜨리지 않고 비용을 절반 넘게 줄인 사례가 있습니다.

AI를 쓰지 말아야 할 때는 언제인가요?

규칙, 조회, 검색 또는 확립된 수치 방법이 이미 그 작업을 안정적으로 해낼 때입니다. 이런 방법은 대개 더 저렴하고, 더 빠르고, 더 예측 가능하며, 점검하기도 쉽습니다.

더 큰 모델이 항상 더 정확한가요?

아닙니다. 범위가 좁은 작업에서는 미세 조정되었거나 증류된 작은 모델이 범용 모델과 대등하거나 더 나을 수 있고, 그 오류도 이해하기 더 쉬운 경우가 많습니다.

출처

  1. Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT 2024 (arXiv 2311.16863) (2024)
  2. AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO (2025)
  3. RouteLLM: Learning to Route LLMs with Preference Data, Ong et al. (arXiv 2406.18665) (2024)
  4. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
  5. Comparative Analysis of Carbon Footprint in Manual vs. LLM-Assisted Code Development, arXiv 2505.04521 (2025)
  6. Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
  7. AI Energy Score, Hugging Face (2025)
  8. Web Sustainability Guidelines, W3C (2025)

함께하기

AI가 지구에 미치는 영향을 함께 줄여 주세요

새 가이드, 지원 공모, 디렉터리 등록 소식을 한 달에 한 번 정도 이메일로 받아 보세요. 또는 제품, 강좌, 박사 과정, 연구를 디렉터리에 추가하세요.

추적하지 않습니다. 클릭 한 번으로 구독을 해지할 수 있습니다. 다른 참여 방법 · 개인정보 보호