# 신경망 가지치기(pruning)는 어떻게 하나요?

> 학습된 신경망에서 기여가 적은 가중치를 제거하고, 남는 정확도를 시험하고, 하드웨어에서 실제로 절약되는지 확인하는 방법입니다.

Source: https://greenai.guide/ko/방법/신경망-가지치기-pruning-는-어떻게-하나요/  
Updated: 2026-11-19

## 요약

학습된 신경망에서 기여가 가장 적은 가중치, 뉴런, 레이어를 제거한 다음, 잠깐 파인튜닝해 회복시키고, 품질 기준에 맞춰 시험하십시오. 가지치기로 AlexNet의 매개변수를 정확도 손실 없이 9분의 1로 줄였고, 매우 큰 언어 모델도 한 번에 최소 50% 희소도로 가지치기된 바 있습니다. 일반 하드웨어에서 더 빨리 실행되기를 원한다면 구조적 가지치기를 택하십시오.

## Steps

1. 먼저 가지치기하지 않은 모델의 정확도, 지연 시간, 에너지를 측정합니다.
2. 하드웨어가 희소 가중치를 활용하지 못한다면 구조적 가지치기(뉴런, 헤드, 레이어 단위)를 택합니다.
3. 크기가 가장 작은 것처럼 중요도에 따라 가중치를 적당한 비율만 제거합니다.
4. 신경망이 회복되도록 잠깐 파인튜닝합니다.
5. 단계별로 반복하며 매번 시험하고, 품질이 기준 아래로 떨어지면 멈춥니다.

**큰 신경망에는 보통 작업에 필요한 것보다 훨씬 많은 가중치가 있으므로, 학습 후 상당수를 제거할 수 있습니다.** 가지치기는 모델을 작게 만들고, 알맞은 하드웨어에서는 실행 비용도 줄여 줍니다.

## 근거는 무엇을 보여 주나요? {#what-does-the-evidence-show}

Han 연구진은 2015년에 가지치기로 이미지 모델 AlexNet의 매개변수를 9분의 1로, VGG-16의 매개변수를 13분의 1로 정확도 손실 없이 줄였음을 보였습니다. Frankle과 Carbin의 복권 가설(lottery ticket hypothesis)은 큰 신경망 안에 전체 신경망의 정확도에 맞먹는 훨씬 작은 하위 신경망이 들어 있다는 것을 발견했습니다. 언어 모델의 경우 Frantar와 Alistarh의 SparseGPT가 매우 큰 모델을 재학습 없이 한 번에 최소 50% 희소도로 가지치기했으며, 퍼플렉시티(perplexity)는 조금만 늘었습니다.

## 구조적 가지치기인가요, 비구조적 가지치기인가요? {#structured-or-unstructured}

- **비구조적 가지치기**는 개별 가중치를 제거합니다. 가장 많이 제거할 수 있지만, 일반 GPU와 CPU가 건너뛰지 못하는 경우가 많은 흩어진 0을 남깁니다.
- **구조적 가지치기**는 뉴런, 어텐션 헤드, 채널, 레이어 전체를 제거합니다. 제거하는 양은 적지만, 작아진 모델은 어떤 하드웨어에서든 더 빨리 실행됩니다.

## 흔한 실수 {#common-mistakes}

- **에너지를 측정하지 않고 0의 개수만 세는 것.** 이론적 절감은 측정한 절감보다 큰 경우가 많습니다. 수학자, 컴퓨터 과학자, 업계가 함께한 2026년 영국 그린 AI 샌드핏(집중 토론 워크숍)은 주류 칩이 희소성을 활용하기 어렵다는 점이 희소성이 여전히 덜 쓰이는 이유 중 하나라고 지적했습니다.
- **한 번에 너무 많이 가지치기하는 것.** 단계적으로 진행하고 그 사이에 파인튜닝하십시오.
- **벤치마크로만 시험하는 것.** 가지치기로 가장 먼저 손상될 수 있는 드문 경우를 포함해 자신의 사례를 확인하십시오.

300편이 넘는 논문을 다룬 Hoefler 연구진의 2021년 조사가 표준 안내서입니다. 이론은
[효율적인 AI를 위한 수학](/ko/기사/ai를-더-효율적으로-만드는-수학/)을 읽어 보십시오.

## 출처

- [Learning both weights and connections for efficient neural networks](https://arxiv.org/abs/1506.02626), Han, Pool, Tran and Dally, NeurIPS (2015)
- [SparseGPT: massive language models can be accurately pruned in one-shot](https://arxiv.org/abs/2301.00774), Frantar and Alistarh, ICML (2023)
- [Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks](https://jmlr.org/papers/v22/21-0366.html), Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- [The lottery ticket hypothesis: finding sparse, trainable neural networks](https://arxiv.org/abs/1803.03635), Frankle and Carbin, ICLR (2019)
