요약
입력이 정형 데이터나 레이블이 붙은 짧은 텍스트이고 출력이 숫자, 범주, 순위라면 선형 모델, 그래디언트 부스팅 트리, 작은 분류기 같은 전통적인 모델을 먼저 시도하십시오. 실행 비용이 훨씬 싸고, 더 빠르고, 설명하기 쉬우며, 정확도도 비슷한 경우가 많습니다. 작업에 정말로 자유로운 언어 생성이 필요할 때 대규모 언어 모델(LLM)을 쓰십시오.
단계
- 입력 유형, 출력 유형, 품질 기준을 적어 둡니다.
- 규칙, 선형 모델, 그래디언트 부스팅 트리 같은 간단한 기준 모델(베이스라인)을 먼저 만듭니다.
- 입력이 자유 텍스트라면 파인튜닝한 작은 분류기를 시도합니다.
- 기준 모델이 기준에 못 미칠 때만, 같은 평가 세트로 LLM을 시험합니다.
- 선택하기 전에 예측당 품질, 지연 시간, 에너지를 비교합니다.
품질 기준을 충족하는 가장 단순한 모델을 쓰십시오. 정형 데이터나 좁은 범위의 레이블링 작업에서는 대개 대규모 언어 모델이 아니라 전통적인 머신러닝 모델이 그 답입니다.
왜 중요한가요?
Luccioni, Jernite, Strubell은 여러 작업에서 모델 실행에 드는 에너지를 측정했습니다. 텍스트 분류는 추론 1,000회당 약 0.002 kWh로 가장 저렴한 작업 중 하나였고, 같은 작업에서 범용 생성형 모델은 작업 특화 모델보다 몇 자릿수 더 많은 비용이 들었습니다. W3C Web Sustainability Guidelines도 AI를 도입하기 전에 그 필요성을 평가하라고 팀에 요구합니다.
수학자, 컴퓨터 과학자, 업계가 함께한 2026년 영국 그린 AI 샌드핏(집중 토론 워크숍)도 다른 각도에서 같은 점을 지적했습니다. 잘 알려진 통계적 또는 수치적 방법으로 이미 해결되는 일에도 사람들이 AI부터 찾는 경우가 많다는 것입니다.
빠른 판단법
| 작업 | 먼저 시도할 것 |
|---|---|
| 표 형식 데이터로 숫자 예측 | 선형 모델 또는 그래디언트 부스팅 트리 |
| 몇 가지 레이블 중 하나 지정 | 파인튜닝한 작은 분류기 |
| 비슷한 항목 찾기 | 임베딩과 최근접 이웃 인덱스 |
| 시계열 예측 | 검증된 통계적 예측 방법 |
| 글쓰기, 설명, 대화 | LLM이 비용값을 하는 영역 |
흔한 실수
- 기준 모델을 건너뛰는 것. 기준 모델이 없으면 LLM이 무엇을 더해 주는지 알 수 없습니다.
- LLM으로 데이터에 레이블을 붙여 놓고 그 데이터로 다시 학습하지 않는 것. LLM은 레이블을 만드는 데 한 번만 쓰고, 그다음 작은 모델을 학습시키십시오.
- 정확도만으로 비교하는 것. 지연 시간, 예측당 에너지, 오류를 설명하기 쉬운 정도도 포함하십시오.
더 자세한 내용은 알맞은 모델 고르기와 효율적인 AI를 위한 수학을 읽어 보십시오.
출처
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
- Web Sustainability Guidelines, W3C (2025)
관련 내용
이 작업에 AI가 정말 필요한지 어떻게 판단하나요?
작업에 생성형 AI가 필요한지, 아니면 검색, 계산기, 템플릿, 간단한 규칙이 더 빠르고 에너지도 덜 쓰는지 가려내는 간단한 테스트입니다.
범용 챗봇 대신 작업 특화 모델은 어떻게 찾나요?
분류, 추출, 번역처럼 한 가지 일에 맞게 만든 작은 모델을 찾고, 범용 챗봇만큼 잘하면서 에너지를 덜 쓰는지 확인하는 방법입니다.
작업에 맞는 모델 고르기
AI 규모를 알맞게 맞추는 법: 작거나 특화된 모델을 쓸 때, 프런티어 모델이 비용값을 할 때, 라우팅의 원리, AI를 쓰지 말아야 할 때를 설명합니다.
AI를 더 효율적으로 만드는 수학
가지치기, 희소성, 스케칭, 랜덤 행렬 이론, 물리 정보 모델: 수학이 AI에 필요한 계산, 메모리, 에너지를 어떻게 줄이는지 설명합니다.