# 큰 모델을 작은 모델로 증류하려면 어떻게 해야 하나요?

> 지식 증류의 원리입니다. 큰 교사 모델로 작은 학생 모델을 과제에 맞게 훈련하고, 시험한 뒤 큰 모델은 대비책으로 남겨 두십시오.

Source: https://greenai.guide/ko/방법/큰-모델을-작은-모델로-증류하려면-어떻게-해야-하나요/  
Updated: 2026-11-19

## 요약

먼저 모델의 증류된 버전이 이미 있는지 확인하십시오. 없다면 큰 교사 모델로 과제의 예시에 레이블을 달거나 예시를 생성하고, 그것으로 작은 학생 모델을 훈련한 뒤, 실제 사례로 학생 모델을 시험하십시오. 초기 사례인 DistilBERT는 BERT보다 40% 작고 60% 빠르면서도 언어 이해 능력의 97%를 유지했습니다.

## Steps

1. 과제에 맞는 기존 증류 모델이나 더 작은 버전을 찾아봅니다.
2. 과제의 실제 입력을 모읍니다.
3. 큰 모델로 그 입력에 대한 레이블이나 출력을 만들고, 표본을 직접 확인합니다.
4. 그 데이터로 작은 학생 모델을 훈련합니다.
5. 학생 모델을 품질 기준에 맞춰 시험하고, 불확실한 경우는 큰 모델로 보냅니다.

**증류는 큰 모델이 과제에 관해 아는 것을, 실행 비용이 싼 작은 모델로 옮깁니다.** 학생 모델 훈련에 한 번 비용을 치르면, 이후 모든 요청에서 절약됩니다.

## 왜 중요한가요? {#why-does-it-matter}

티켓 분류나 항목 추출처럼 좁은 작업 하나에 큰 범용 모델을 배포하면, 그 작업에 전혀 쓰지 않는 지식에 비용을 치르게 됩니다. Luccioni, Jernite, Strubell은 같은 작업에서 과제 전용 시스템이 다목적 생성형 모델보다 실행 비용이 몇 자릿수나 낮다는 것을 발견했습니다. Green Software Foundation은 증류를 알맞은 크기의 에너지 효율적인 AI 모델을 위한 패턴의 하나로 꼽습니다.

## 어떻게 작동하나요? {#how-does-it-work}

**교사**는 큰 모델이고 **학생**은 작은 모델입니다. 고전적인 방법에서 학생은 교사의 최종 답만이 아니라 출력 확률을 맞추도록 배우는데, 이렇게 하면 예시 하나당 더 많은 정보가 전달됩니다. Sanh과 동료들의 DistilBERT는 이 방법으로 BERT보다 40% 작고 60% 빠르면서 언어 이해 능력의 97%를 유지한 모델을 만들었습니다.

생성형 모델에서는 더 단순한 실용적 방법이 흔합니다. 교사에게 실제 입력에 대한 답을 만들게 하고, 표본을 확인한 뒤, 그것으로 작은 모델을 미세 조정하는 것입니다.

## 흔한 실수 {#common-mistakes}

- **작은 모델이 이미 있는데 증류하는 것.** 먼저 찾아보십시오. [과제 전용 모델을 찾는 방법](/ko/방법/범용-챗봇-대신-작업-특화-모델은-어떻게-찾나요/)을 참고하십시오.
- **교사의 출력을 무조건 믿는 것.** 교사의 오류는 학생의 오류가 됩니다.
- **대비책이 없는 것.** 학생이 확신하지 못하는 경우를 위해 [모델 라우팅](/ko/방법/요청을-더-작은-모델로-보내려면-어떻게-해야-하나요/)으로 큰 모델을 남겨 두십시오.
- **라이선스를 무시하는 것.** 일부 모델 약관은 출력을 다른 모델 훈련에 쓰는 것을 제한합니다.

[효율적인 훈련과 추론](/ko/모범-사례/효율적인-ai-훈련과-추론/)에서 더 읽어 보십시오.

## 출처

- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
- [Green Software Patterns: right-sized, energy-efficient AI models](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/right-sized-energy-efficient-ai-models.md), Green Software Foundation (2025)
- [Power Hungry Processing: Watts Driving the Cost of AI Deployment?](https://arxiv.org/abs/2311.16863), Luccioni, Jernite and Strubell, ACM FAccT (2024)
