요약
실제 사례로 "충분히 좋다"의 뜻을 정한 다음, 가장 작은 모델부터 큰 모델 순서로 시험해 처음 통과하는 모델에서 멈추십시오. 작은 모델과 작업 특화 모델은 큰 범용 모델이 쓰는 에너지의 일부만 쓸 수 있습니다. UNESCO와 University College London은 알맞은 작업에서 최대 90%를 절감했다고 보고합니다.
단계
- 작업과 합격선(예를 들어 정답이어야 하는 답변의 비율)을 적어 둡니다.
- 시험에 쓸 실제 사례를 20~50개 모읍니다.
- 가장 작은 모델이나 "mini" 모델부터 써 보고, 합격선에 못 미칠 때만 한 단계 올립니다.
- AI Energy Score 같은 공개 에너지 등급이 있으면 확인합니다.
- 작은 모델이 처리하지 못하는 경우를 위해 더 큰 모델을 남겨 둡니다.
- 모델이나 작업이 바뀌면 다시 시험합니다.
쓸 수 있는 가장 뛰어난 모델이 아니라, 품질 기준을 충족하는 가장 작은 모델을 쓰십시오. 큰 범용 모델은 요청마다 작업에 전혀 필요 없을 수도 있는 능력의 비용까지 치릅니다.
모델 크기가 왜 그렇게 중요한가요?
대개 에너지에 가장 큰 영향을 주는 단일 요인입니다. Luccioni, Jernite, Strubell은 같은 작업에서 다목적 생성형 모델의 실행 비용이 작업 특화 시스템보다 몇 자릿수나 크다는 것을 발견했습니다. UNESCO와 University College London은 특정 작업에 맞춘 작은 모델이 에너지 사용을 최대 90%까지 줄일 수 있다는 것을 발견했습니다.
후보 모델은 어떻게 시험하나요?
- 자신의 실제 업무로 기준을 정하십시오. 예: "송장 합계를 98% 정확하게 추출한다".
- 작은 것부터 시험하십시오. 많은 제공업체가 "mini", "lite", "flash" 버전을 제공하며, 오픈 웨이트 모델 계열은 여러 크기로 나옵니다.
- 처음 통과하는 모델에서 멈추십시오. 좁은 작업에서는 크다고 저절로 더 정확하지 않습니다.
- 가격만이 아니라 에너지도 비교하십시오. Hugging Face의 AI Energy Score는 흔한 작업에서 쿼리당 에너지를 기준으로 오픈 모델에 별 1~5개 등급을 매깁니다. AI Energy Score 등급 읽기를 참고하십시오.
일반 사용자에게도 같은 생각이 적용됩니다. 간단한 질문에는 챗봇의 빠른 옵션이나 가벼운 옵션을 고르십시오.
흔한 실수
- 직접 사례로 시험하지 않고 평판만 보고 고르는 것.
- 성공당이 아니라 호출당 비용을 재는 것. 너무 작아서 실패하는 바람에 큰 모델로 다시 실행해야 하는 모델은 전체적으로 비용이 더 들 수 있습니다.
- 다시 검토하지 않는 것. 작은 모델은 빠르게 개선되므로 몇 달마다 다시 시험하십시오.
각 요청을 알맞은 크기의 모델로 자동으로 보내려면 요청을 더 작은 모델로 라우팅하기를 참고하십시오. 전체 방법은 알맞은 모델 고르기에 있습니다.
출처
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
- AI Energy Score, Hugging Face (2025)
관련 내용
작업에 맞는 모델 고르기
AI 규모를 알맞게 맞추는 법: 작거나 특화된 모델을 쓸 때, 프런티어 모델이 비용값을 할 때, 라우팅의 원리, AI를 쓰지 말아야 할 때를 설명합니다.
범용 챗봇 대신 작업 특화 모델은 어떻게 찾나요?
분류, 추출, 번역처럼 한 가지 일에 맞게 만든 작은 모델을 찾고, 범용 챗봇만큼 잘하면서 에너지를 덜 쓰는지 확인하는 방법입니다.
요청을 더 작은 모델로 보내려면 어떻게 해야 하나요?
일상적인 요청은 작은 모델로, 어려운 요청만 큰 모델로 보내는 방법과, 재시도가 절감을 갉아먹지 않게 라우터를 조정하는 법입니다.
여러 AI 모델의 에너지 사용량은 어떻게 비교하나요?
AI Energy Score 같은 벤치마크를 쓰거나, 같은 작업·하드웨어·설정에서 직접 측정해 AI 모델의 에너지를 공정하게 비교하는 방법입니다.