요약
먼저 모델의 증류된 버전이 이미 있는지 확인하십시오. 없다면 큰 교사 모델로 과제의 예시에 레이블을 달거나 예시를 생성하고, 그것으로 작은 학생 모델을 훈련한 뒤, 실제 사례로 학생 모델을 시험하십시오. 초기 사례인 DistilBERT는 BERT보다 40% 작고 60% 빠르면서도 언어 이해 능력의 97%를 유지했습니다.
단계
- 과제에 맞는 기존 증류 모델이나 더 작은 버전을 찾아봅니다.
- 과제의 실제 입력을 모읍니다.
- 큰 모델로 그 입력에 대한 레이블이나 출력을 만들고, 표본을 직접 확인합니다.
- 그 데이터로 작은 학생 모델을 훈련합니다.
- 학생 모델을 품질 기준에 맞춰 시험하고, 불확실한 경우는 큰 모델로 보냅니다.
증류는 큰 모델이 과제에 관해 아는 것을, 실행 비용이 싼 작은 모델로 옮깁니다. 학생 모델 훈련에 한 번 비용을 치르면, 이후 모든 요청에서 절약됩니다.
왜 중요한가요?
티켓 분류나 항목 추출처럼 좁은 작업 하나에 큰 범용 모델을 배포하면, 그 작업에 전혀 쓰지 않는 지식에 비용을 치르게 됩니다. Luccioni, Jernite, Strubell은 같은 작업에서 과제 전용 시스템이 다목적 생성형 모델보다 실행 비용이 몇 자릿수나 낮다는 것을 발견했습니다. Green Software Foundation은 증류를 알맞은 크기의 에너지 효율적인 AI 모델을 위한 패턴의 하나로 꼽습니다.
어떻게 작동하나요?
교사는 큰 모델이고 학생은 작은 모델입니다. 고전적인 방법에서 학생은 교사의 최종 답만이 아니라 출력 확률을 맞추도록 배우는데, 이렇게 하면 예시 하나당 더 많은 정보가 전달됩니다. Sanh과 동료들의 DistilBERT는 이 방법으로 BERT보다 40% 작고 60% 빠르면서 언어 이해 능력의 97%를 유지한 모델을 만들었습니다.
생성형 모델에서는 더 단순한 실용적 방법이 흔합니다. 교사에게 실제 입력에 대한 답을 만들게 하고, 표본을 확인한 뒤, 그것으로 작은 모델을 미세 조정하는 것입니다.
흔한 실수
- 작은 모델이 이미 있는데 증류하는 것. 먼저 찾아보십시오. 과제 전용 모델을 찾는 방법을 참고하십시오.
- 교사의 출력을 무조건 믿는 것. 교사의 오류는 학생의 오류가 됩니다.
- 대비책이 없는 것. 학생이 확신하지 못하는 경우를 위해 모델 라우팅으로 큰 모델을 남겨 두십시오.
- 라이선스를 무시하는 것. 일부 모델 약관은 출력을 다른 모델 훈련에 쓰는 것을 제한합니다.
효율적인 훈련과 추론에서 더 읽어 보십시오.
출처
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
- Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
관련 내용
범용 챗봇 대신 작업 특화 모델은 어떻게 찾나요?
분류, 추출, 번역처럼 한 가지 일에 맞게 만든 작은 모델을 찾고, 범용 챗봇만큼 잘하면서 에너지를 덜 쓰는지 확인하는 방법입니다.
요청을 더 작은 모델로 보내려면 어떻게 해야 하나요?
일상적인 요청은 작은 모델로, 어려운 요청만 큰 모델로 보내는 방법과, 재시도가 절감을 갉아먹지 않게 라우터를 조정하는 법입니다.
신경망 가지치기(pruning)는 어떻게 하나요?
학습된 신경망에서 기여가 적은 가중치를 제거하고, 남는 정확도를 시험하고, 하드웨어에서 실제로 절약되는지 확인하는 방법입니다.
효율적인 AI 훈련과 추론
개발자와 연구자가 AI 에너지를 줄이는 기법: 가지치기, 희소성, 양자화, 증류, KV 캐시, 배칭, 혼합 정밀도, 스케줄링을 다룹니다.