요약
작업을 정확하게 정의한 다음, Hugging Face 같은 모델 허브에서 작업 유형으로 검색하고, 작은 후보 두세 개를 자신의 예시로 테스트하십시오. 한 가지 일을 위해 만든 모델은 같은 일을 하는 범용 생성 모델보다 실행 비용이 몇 자릿수나 낮을 수 있으므로, 챗봇으로 정하기 전에 반나절 정도 테스트할 가치가 있습니다.
단계
- "고객지원 이메일을 6개 범주로 분류하기"처럼 작업을 한 줄로 설명하십시오.
- 텍스트 분류나 번역 같은 해당 작업 유형으로 필터링해 모델 허브를 검색하십시오.
- 작은 모델 두세 개를 후보로 정하고 라이선스와 지원 언어를 확인하십시오.
- 각 모델을 합격 기준을 정해 자신의 실제 예시 50~100개로 테스트하십시오.
- 등급이 있으면 요청당 에너지를 비교하고, 실패하는 경우에만 범용 모델을 남겨 두십시오.
잘 정의된 일에는 그 일을 위해 학습된 모델이 대체로 더 저렴하고, 성능도 비슷한 경우가 많습니다. 범용 챗봇은 요청마다 작업에 전혀 쓰이지 않는 능력의 비용까지 치릅니다.
왜 중요한가요?
Luccioni, Jernite, Strubell은 흔한 작업들에서 많은 모델을 비교해, 다목적 생성 모델이 같은 작업에서 작업 특화 시스템보다 실행 비용이 몇 자릿수나 크다는 것을 발견했습니다. UNESCO와 유니버시티 칼리지 런던(UCL)은 작은 작업 특화 모델이 에너지 사용량을 최대 90%까지 줄일 수 있다고 보고합니다.
어디에서 찾아야 하나요?
공개 모델 허브에서 시작하고, 브랜드가 아니라 작업으로 검색하십시오. 예를 들어 Hugging Face에서는 텍스트 분류, 개체명 인식, 요약, 번역, 음성 인식 같은 작업으로 모델을 필터링할 수 있습니다. 다음을 찾으십시오.
- 자신의 데이터와 비슷한 데이터(같은 언어, 같은 종류의 텍스트)로 파인튜닝된 모델
- 무엇으로 학습했고 어떻게 평가했는지 명확히 밝힌 모델 카드
- 파라미터 수로 따져 감당할 수 있는 크기
에너지 비교에는 AI Energy Score가 흔한 작업 10가지의 GPU 에너지를 기준으로 모델에 별 1~5개 등급을 매깁니다.
흔한 실수
- 공개 벤치마크만으로 판단하는 것. 자신의 예시로 테스트하십시오. 그것이 나에게 중요한 유일한 점수입니다.
- 대량 분류를 챗봇에 맡기는 것. 항목 수천 개에 라벨을 붙인다면 작은 분류기가 더 빠르고 저렴합니다.
- 대비책을 잊는 것. 어려운 경우를 위해 더 큰 모델을 남겨 두고, 요청을 더 작은 모델로 라우팅하는 방법을 참고하십시오.
전체 방법은 알맞은 모델 고르기를 읽어 보십시오.
출처
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- AI Energy Score, Hugging Face (2025)
관련 내용
더 작은 AI 모델은 어떻게 골라야 하나요?
작업을 잘 해내는 가장 작은 AI 모델을 고르는 법. 품질 기준을 정하고, 작은 것부터 시험하고, 에너지 등급을 확인하고, 큰 모델은 예비로 둡니다.
LLM 대신 전통적인 머신러닝으로 충분한지 어떻게 판단하나요?
데이터 과학자를 위한 빠른 판단법: 회귀, 트리 모델, 작은 분류기가 비용, 에너지, 속도, 신뢰성에서 LLM보다 나은 경우를 알아봅니다.
여러 AI 모델의 에너지 사용량은 어떻게 비교하나요?
AI Energy Score 같은 벤치마크를 쓰거나, 같은 작업·하드웨어·설정에서 직접 측정해 AI 모델의 에너지를 공정하게 비교하는 방법입니다.
작업에 맞는 모델 고르기
AI 규모를 알맞게 맞추는 법: 작거나 특화된 모델을 쓸 때, 프런티어 모델이 비용값을 할 때, 라우팅의 원리, AI를 쓰지 말아야 할 때를 설명합니다.