greenai.guide

홈 › 어떻게 하나요? › 더 작은 AI 모델은 어떻게 골라야 하나요?

어떻게 하나요?

더 작은 AI 모델은 어떻게 골라야 하나요?

업데이트 · 1분 분량

요약

실제 사례로 "충분히 좋다"의 뜻을 정한 다음, 가장 작은 모델부터 큰 모델 순서로 시험해 처음 통과하는 모델에서 멈추십시오. 작은 모델과 작업 특화 모델은 큰 범용 모델이 쓰는 에너지의 일부만 쓸 수 있습니다. UNESCO와 University College London은 알맞은 작업에서 최대 90%를 절감했다고 보고합니다.

단계

  1. 작업과 합격선(예를 들어 정답이어야 하는 답변의 비율)을 적어 둡니다.
  2. 시험에 쓸 실제 사례를 20~50개 모읍니다.
  3. 가장 작은 모델이나 "mini" 모델부터 써 보고, 합격선에 못 미칠 때만 한 단계 올립니다.
  4. AI Energy Score 같은 공개 에너지 등급이 있으면 확인합니다.
  5. 작은 모델이 처리하지 못하는 경우를 위해 더 큰 모델을 남겨 둡니다.
  6. 모델이나 작업이 바뀌면 다시 시험합니다.

쓸 수 있는 가장 뛰어난 모델이 아니라, 품질 기준을 충족하는 가장 작은 모델을 쓰십시오. 큰 범용 모델은 요청마다 작업에 전혀 필요 없을 수도 있는 능력의 비용까지 치릅니다.

모델 크기가 왜 그렇게 중요한가요?

대개 에너지에 가장 큰 영향을 주는 단일 요인입니다. Luccioni, Jernite, Strubell은 같은 작업에서 다목적 생성형 모델의 실행 비용이 작업 특화 시스템보다 몇 자릿수나 크다는 것을 발견했습니다. UNESCO와 University College London은 특정 작업에 맞춘 작은 모델이 에너지 사용을 최대 90%까지 줄일 수 있다는 것을 발견했습니다.

후보 모델은 어떻게 시험하나요?

  1. 자신의 실제 업무로 기준을 정하십시오. 예: "송장 합계를 98% 정확하게 추출한다".
  2. 작은 것부터 시험하십시오. 많은 제공업체가 "mini", "lite", "flash" 버전을 제공하며, 오픈 웨이트 모델 계열은 여러 크기로 나옵니다.
  3. 처음 통과하는 모델에서 멈추십시오. 좁은 작업에서는 크다고 저절로 더 정확하지 않습니다.
  4. 가격만이 아니라 에너지도 비교하십시오. Hugging Face의 AI Energy Score는 흔한 작업에서 쿼리당 에너지를 기준으로 오픈 모델에 별 1~5개 등급을 매깁니다. AI Energy Score 등급 읽기를 참고하십시오.

일반 사용자에게도 같은 생각이 적용됩니다. 간단한 질문에는 챗봇의 빠른 옵션이나 가벼운 옵션을 고르십시오.

흔한 실수

  • 직접 사례로 시험하지 않고 평판만 보고 고르는 것.
  • 성공당이 아니라 호출당 비용을 재는 것. 너무 작아서 실패하는 바람에 큰 모델로 다시 실행해야 하는 모델은 전체적으로 비용이 더 들 수 있습니다.
  • 다시 검토하지 않는 것. 작은 모델은 빠르게 개선되므로 몇 달마다 다시 시험하십시오.

각 요청을 알맞은 크기의 모델로 자동으로 보내려면 요청을 더 작은 모델로 라우팅하기를 참고하십시오. 전체 방법은 알맞은 모델 고르기에 있습니다.

출처

  1. Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
  2. Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
  3. AI Energy Score, Hugging Face (2025)

함께하기

AI가 지구에 미치는 영향을 함께 줄여 주세요

새 가이드, 지원 공모, 디렉터리 등록 소식을 한 달에 한 번 정도 이메일로 받아 보세요. 또는 제품, 강좌, 박사 과정, 연구를 디렉터리에 추가하세요.

추적하지 않습니다. 클릭 한 번으로 구독을 해지할 수 있습니다. 다른 참여 방법 · 개인정보 보호