greenai.guide

홈 › 어떻게 하나요? › 큰 모델을 작은 모델로 증류하려면 어떻게 해야 하나요?

어떻게 하나요?

큰 모델을 작은 모델로 증류하려면 어떻게 해야 하나요?

업데이트 · 1분 분량

요약

먼저 모델의 증류된 버전이 이미 있는지 확인하십시오. 없다면 큰 교사 모델로 과제의 예시에 레이블을 달거나 예시를 생성하고, 그것으로 작은 학생 모델을 훈련한 뒤, 실제 사례로 학생 모델을 시험하십시오. 초기 사례인 DistilBERT는 BERT보다 40% 작고 60% 빠르면서도 언어 이해 능력의 97%를 유지했습니다.

단계

  1. 과제에 맞는 기존 증류 모델이나 더 작은 버전을 찾아봅니다.
  2. 과제의 실제 입력을 모읍니다.
  3. 큰 모델로 그 입력에 대한 레이블이나 출력을 만들고, 표본을 직접 확인합니다.
  4. 그 데이터로 작은 학생 모델을 훈련합니다.
  5. 학생 모델을 품질 기준에 맞춰 시험하고, 불확실한 경우는 큰 모델로 보냅니다.

증류는 큰 모델이 과제에 관해 아는 것을, 실행 비용이 싼 작은 모델로 옮깁니다. 학생 모델 훈련에 한 번 비용을 치르면, 이후 모든 요청에서 절약됩니다.

왜 중요한가요?

티켓 분류나 항목 추출처럼 좁은 작업 하나에 큰 범용 모델을 배포하면, 그 작업에 전혀 쓰지 않는 지식에 비용을 치르게 됩니다. Luccioni, Jernite, Strubell은 같은 작업에서 과제 전용 시스템이 다목적 생성형 모델보다 실행 비용이 몇 자릿수나 낮다는 것을 발견했습니다. Green Software Foundation은 증류를 알맞은 크기의 에너지 효율적인 AI 모델을 위한 패턴의 하나로 꼽습니다.

어떻게 작동하나요?

교사는 큰 모델이고 학생은 작은 모델입니다. 고전적인 방법에서 학생은 교사의 최종 답만이 아니라 출력 확률을 맞추도록 배우는데, 이렇게 하면 예시 하나당 더 많은 정보가 전달됩니다. Sanh과 동료들의 DistilBERT는 이 방법으로 BERT보다 40% 작고 60% 빠르면서 언어 이해 능력의 97%를 유지한 모델을 만들었습니다.

생성형 모델에서는 더 단순한 실용적 방법이 흔합니다. 교사에게 실제 입력에 대한 답을 만들게 하고, 표본을 확인한 뒤, 그것으로 작은 모델을 미세 조정하는 것입니다.

흔한 실수

  • 작은 모델이 이미 있는데 증류하는 것. 먼저 찾아보십시오. 과제 전용 모델을 찾는 방법을 참고하십시오.
  • 교사의 출력을 무조건 믿는 것. 교사의 오류는 학생의 오류가 됩니다.
  • 대비책이 없는 것. 학생이 확신하지 못하는 경우를 위해 모델 라우팅으로 큰 모델을 남겨 두십시오.
  • 라이선스를 무시하는 것. 일부 모델 약관은 출력을 다른 모델 훈련에 쓰는 것을 제한합니다.

효율적인 훈련과 추론에서 더 읽어 보십시오.

출처

  1. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
  2. Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
  3. Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)

함께하기

AI가 지구에 미치는 영향을 함께 줄여 주세요

새 가이드, 지원 공모, 디렉터리 등록 소식을 한 달에 한 번 정도 이메일로 받아 보세요. 또는 제품, 강좌, 박사 과정, 연구를 디렉터리에 추가하세요.

추적하지 않습니다. 클릭 한 번으로 구독을 해지할 수 있습니다. 다른 참여 방법 · 개인정보 보호