요약
학습된 신경망에서 기여가 가장 적은 가중치, 뉴런, 레이어를 제거한 다음, 잠깐 파인튜닝해 회복시키고, 품질 기준에 맞춰 시험하십시오. 가지치기로 AlexNet의 매개변수를 정확도 손실 없이 9분의 1로 줄였고, 매우 큰 언어 모델도 한 번에 최소 50% 희소도로 가지치기된 바 있습니다. 일반 하드웨어에서 더 빨리 실행되기를 원한다면 구조적 가지치기를 택하십시오.
단계
- 먼저 가지치기하지 않은 모델의 정확도, 지연 시간, 에너지를 측정합니다.
- 하드웨어가 희소 가중치를 활용하지 못한다면 구조적 가지치기(뉴런, 헤드, 레이어 단위)를 택합니다.
- 크기가 가장 작은 것처럼 중요도에 따라 가중치를 적당한 비율만 제거합니다.
- 신경망이 회복되도록 잠깐 파인튜닝합니다.
- 단계별로 반복하며 매번 시험하고, 품질이 기준 아래로 떨어지면 멈춥니다.
큰 신경망에는 보통 작업에 필요한 것보다 훨씬 많은 가중치가 있으므로, 학습 후 상당수를 제거할 수 있습니다. 가지치기는 모델을 작게 만들고, 알맞은 하드웨어에서는 실행 비용도 줄여 줍니다.
근거는 무엇을 보여 주나요?
Han 연구진은 2015년에 가지치기로 이미지 모델 AlexNet의 매개변수를 9분의 1로, VGG-16의 매개변수를 13분의 1로 정확도 손실 없이 줄였음을 보였습니다. Frankle과 Carbin의 복권 가설(lottery ticket hypothesis)은 큰 신경망 안에 전체 신경망의 정확도에 맞먹는 훨씬 작은 하위 신경망이 들어 있다는 것을 발견했습니다. 언어 모델의 경우 Frantar와 Alistarh의 SparseGPT가 매우 큰 모델을 재학습 없이 한 번에 최소 50% 희소도로 가지치기했으며, 퍼플렉시티(perplexity)는 조금만 늘었습니다.
구조적 가지치기인가요, 비구조적 가지치기인가요?
- 비구조적 가지치기는 개별 가중치를 제거합니다. 가장 많이 제거할 수 있지만, 일반 GPU와 CPU가 건너뛰지 못하는 경우가 많은 흩어진 0을 남깁니다.
- 구조적 가지치기는 뉴런, 어텐션 헤드, 채널, 레이어 전체를 제거합니다. 제거하는 양은 적지만, 작아진 모델은 어떤 하드웨어에서든 더 빨리 실행됩니다.
흔한 실수
- 에너지를 측정하지 않고 0의 개수만 세는 것. 이론적 절감은 측정한 절감보다 큰 경우가 많습니다. 수학자, 컴퓨터 과학자, 업계가 함께한 2026년 영국 그린 AI 샌드핏(집중 토론 워크숍)은 주류 칩이 희소성을 활용하기 어렵다는 점이 희소성이 여전히 덜 쓰이는 이유 중 하나라고 지적했습니다.
- 한 번에 너무 많이 가지치기하는 것. 단계적으로 진행하고 그 사이에 파인튜닝하십시오.
- 벤치마크로만 시험하는 것. 가지치기로 가장 먼저 손상될 수 있는 드문 경우를 포함해 자신의 사례를 확인하십시오.
300편이 넘는 논문을 다룬 Hoefler 연구진의 2021년 조사가 표준 안내서입니다. 이론은 효율적인 AI를 위한 수학을 읽어 보십시오.
출처
- Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
- SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
- Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
관련 내용
AI를 더 효율적으로 만드는 수학
가지치기, 희소성, 스케칭, 랜덤 행렬 이론, 물리 정보 모델: 수학이 AI에 필요한 계산, 메모리, 에너지를 어떻게 줄이는지 설명합니다.
모델을 양자화하려면 어떻게 해야 하나요?
AI 모델을 8비트나 4비트로 양자화하는 방법, 쓸 도구, 품질 테스트 방법, 양자화가 에너지를 아낄 때와 그렇지 않을 때를 설명합니다.
큰 모델을 작은 모델로 증류하려면 어떻게 해야 하나요?
지식 증류의 원리입니다. 큰 교사 모델로 작은 학생 모델을 과제에 맞게 훈련하고, 시험한 뒤 큰 모델은 대비책으로 남겨 두십시오.
효율적인 AI 훈련과 추론
개발자와 연구자가 AI 에너지를 줄이는 기법: 가지치기, 희소성, 양자화, 증류, KV 캐시, 배칭, 혼합 정밀도, 스케줄링을 다룹니다.