# 효율적인 AI 훈련과 추론

> 개발자와 연구자가 AI 에너지를 줄이는 기법: 가지치기, 희소성, 양자화, 증류, KV 캐시, 배칭, 혼합 정밀도, 스케줄링을 다룹니다.

Source: https://greenai.guide/ko/모범-사례/효율적인-ai-훈련과-추론/  
Updated: 2026-11-19

## 요약

처음부터 훈련하는 대신 모델을 재사용하고, 가지치기·양자화·증류로 모델을 줄이고, 배칭과 캐싱으로 서빙하고, 유연한 작업은 전기가 더 깨끗한 시간과 장소에서 실행하면 품질을 잃지 않고도 AI 에너지의 대부분을 줄일 수 있습니다. 더 빠르다고 늘 더 친환경적인 것은 아니므로, 변경할 때마다 전후의 에너지를 측정하세요.

## 핵심 내용

- 훈련하기 전에 재사용하세요. GPT-3 175B 전체 미세 조정과 비교해, LoRA로 작은 어댑터를 미세 조정하면 훈련 가능한 매개변수가 1만 분의 1로, GPU 메모리가 3분의 1로 줄었습니다.
- 대형 언어 모델은 재훈련 없이 한 번에 최소 50% 희소성까지 가지치기해도 정확도 손실이 아주 적습니다(SparseGPT).
- 8비트 추론은 품질 손실 없이 필요한 메모리를 절반으로 줄일 수 있습니다(LLM.int8()). 4비트도 시험해 보세요.
- 서빙도 중요합니다. vLLM에서 배칭과 페이지 방식 KV 캐시 관리는 같은 지연 시간에서 처리량을 2–4배로 늘렸습니다.
- 탄소 인식 스케줄링은 에너지가 아니라 배출량을 줄입니다. 효율화 작업을 대신하지 말고 그 위에 더하세요.

## 어디서부터 시작해야 하나요? {#where-should-i-start}

**측정부터 시작한 다음, 재사용, 축소, 효율적 서빙, 스케줄링 순서로 진행하세요.** 앞 단계일수록 대개 절감 효과가 크고
위험은 적습니다.

Google의 Patterson과 동료들은 2021년에 모델, 데이터센터, 프로세서의 선택에 따라 훈련의 탄소 발자국이 최대 약
100~1,000배까지 달라질 수 있다고 추정했습니다. 그 범위의 대부분은 여러분이 결정할 수 있습니다. 무엇이든 바꾸기 전에
같은 하드웨어와 부하에서 [에너지 측정](/ko/모범-사례/ai의-에너지와-탄소를-측정하는-방법/)을 설정해, 품질을 해치지 않으면서 에너지를 줄이는
변경만 남길 수 있도록 하세요. 속도는 믿을 만한 대용 지표가 아닙니다. 어떤 변경은 더 빠르면서 에너지를 더 많이 쓰고,
어떤 변경은 더 느리면서 에너지를 덜 씁니다.

## 처음부터 훈련하지 않을 수 있나요? {#can-i-avoid-training-from-scratch}

**대개는 가능합니다. 사전 훈련된 모델에서 시작해 필요한 부분만 조정하세요.**

- **매개변수 효율적 미세 조정.** LoRA는 전체 모델 대신 작은 저랭크(low-rank) 어댑터 행렬을 훈련합니다. 저자들은 GPT-3
  175B 전체 미세 조정과 비교해 훈련 가능한 매개변수가 1만 배 적고 GPU 메모리가 3배 적게 든다고 보고했습니다.
  QLoRA는 이를 4비트 가중치와 결합해, 650억 매개변수 모델을 48 GB GPU 한 대에서 미세 조정했습니다.
- **재훈련 대신 검색.** 바뀌는 사실은 검색 가능한 색인에 넣고 질의할 때 가져오세요. 미세 조정은 사실이 아니라
  기술과 문체를 위해 하세요.
- **모델 병합("수핑").** Wortsman과 동료들에 따르면, 같은 기반 모델에서 미세 조정한 모델들의 가중치를 평균하면 추가
  추론 비용 없이 가장 좋은 단일 모델보다 나을 수 있습니다. 전문화된 미세 조정 모델들을 병합하는 것은 이미 비용을
  치른 작업을 재사용하는 방법입니다.
- **지속 학습.** 데이터가 바뀌면 처음부터 재훈련하지 말고 모델을 점진적으로 업데이트하세요.

## 가지치기와 희소성은 어떻게 도움이 되나요? {#how-do-pruning-and-sparsity-help}

**훈련된 신경망의 가중치 대부분은 거의 손실 없이 제거하거나 비활성 상태로 둘 수 있으며, 그만큼 답변당 계산과
메모리가 줄어듭니다.**

- **비구조적 가지치기**는 개별 가중치를 제거합니다. SparseGPT는 GPT 계열 모델을 재훈련 없이 한 번에 최소 50%
  희소성까지 가지치기하면서 정확도 손실을 최소화했고, 당시 가장 큰 공개 모델에서는 퍼플렉서티(perplexity)를 거의
  늘리지 않고 60%에 도달했습니다.
- **구조적 가지치기**는 뉴런, 헤드, 층 전체를 제거하며, 일반 하드웨어에서 더 쉽게 활용할 수 있습니다.
- **활성화 희소성**은 주어진 입력에 대해 대부분의 뉴런을 비활성 상태로 둡니다.
- **전문가 혼합(mixture-of-experts)** 모델은 각 토큰을 소수의 전문 하위 네트워크로 보냅니다. Patterson과 동료들은
  희소하게 활성화되는 대형 모델이 밀집형 대형 모델의 10분의 1도 안 되는 에너지를 쓸 수 있음을 발견했습니다. 다만 모든
  전문가가 여전히 메모리에 올라가 있어야 합니다.

수학자, 컴퓨터 과학자, 산업계가 함께한 2026년 영국 그린 AI 샌드핏(집중 토론 워크숍)에서 나온 단서가 있습니다. 하드웨어와
라이브러리가 밀집 연산에 맞춰 만들어져 있다는 점이 희소성이 덜 활용되는 이유 중 하나라는 것입니다. 여러분의 런타임이
희소성을 실제 에너지 절감으로 바꾸는지 확인하세요. 샌드핏에서는 훈련 전에 무작위 행렬 이론으로 희소성 수준을 정하는
방법과, 사전 훈련된 모델에 그대로 끼워 넣을 수 있는 어텐션의 희소 근사도 논의했습니다.
[효율적인 AI를 위한 수학](/ko/기사/ai를-더-효율적으로-만드는-수학/)을 참고하세요.

## 양자화, 증류, 혼합 정밀도는 어떤가요? {#what-about-quantisation-distillation-and-mixed-precision}

**품질 기준이 허용하는 곳에서는 더 적은 비트와 더 작은 모델을 쓰세요.**

| 기법 | 하는 일 | 발표된 결과 |
|---|---|---|
| [양자화](/ko/용어집/#quantisation) | 가중치를 16비트나 32비트 대신 8비트나 4비트로 저장하고 계산 | LLM.int8()은 175B 매개변수까지 품질 손실 없이 추론 메모리를 절반으로 줄임. UNESCO와 UCL은 양자화 같은 모델 압축이 에너지를 최대 44% 절약한다고 보고 |
| [증류](/ko/용어집/#distillation) | 작은 "학생" 모델이 큰 "교사" 모델을 모방하도록 훈련 | DistilBERT는 BERT보다 40% 작고 60% 빠르면서 언어 이해 능력의 97%를 유지 |
| 혼합 정밀도 | 전체 정밀도 마스터 사본을 두고 반정밀도로 훈련 | 훈련 시 메모리 사용을 거의 절반으로 줄임(Micikevicius 외) |

각 기법을 여러분 자체 평가 세트로 시험하세요. Hugging Face는 작업이 메모리에 의해 제한되지 않을 때 양자화가 지연 시간을
늘릴 수 있다고 지적하므로, 전후의 요청당 에너지와 지연 시간을 측정하세요.

## 모델을 효율적으로 서빙하려면 어떻게 하나요? {#how-do-i-serve-models-efficiently}

**가속기가 유용한 작업으로 계속 바쁘게 하고, 무엇이든 다시 계산하지 않도록 하세요.** 놀고 있는 GPU도 상당한 전력을
씁니다.

1. **요청을 배치로 묶으세요.** 연속 배칭을 지원하는 서빙 엔진은 동시에 들어온 요청을 묶습니다.
   [KV 캐시](/ko/용어집/#kv-cache)를 가상 메모리처럼 관리하는 vLLM의 PagedAttention은 같은 지연 시간에서 이전
   시스템보다 처리량을 2~4배로 늘렸습니다.
2. **KV 캐시를 잘 활용하세요.** 앞선 토큰의 키와 값을 캐시하고, 라이브러리가 지원하면 컴파일된 순전파와 정적 캐시를
   쓰세요.
3. **최적화된 경로를 켜세요.** 반정밀도 가중치, 효율적인 어텐션 커널(SDPA나 FlashAttention 등), 컴파일은 대개
   사용할 수 있지만 기본적으로 꺼져 있는 경우가 많습니다.
4. **추측 디코딩(speculative decoding).** 작은 초안 모델이 토큰을 제안하고 큰 모델이 검토합니다. Leviathan과
   동료들은 T5-XXL에서 출력은 동일하면서 생성 속도가 2~3배 빨라졌다고 보고했습니다.
5. **출력 길이를 작업에 필요한 만큼으로 제한하고**, 동일한 요청에 대한 답변은 캐시하세요.
6. **런타임과 하드웨어를 비교하세요.** 실제 배치 크기에서 두세 가지 서빙 스택을 벤치마크하세요.

## 작업은 언제, 어디에서 실행해야 하나요? {#when-and-where-should-jobs-run}

**유연한 작업은 전기가 더 깨끗한 시간과 장소에서 실행하세요. 다만 이것은 효율화를 대신하는 것이 아니라 그 위에
더하는 보너스로 여기세요.**

- **시간 이동.** 훈련, 평가, 배치 추론은 몇 시간 기다려도 되는 경우가 많습니다. 탄소 집약도 예보에 맞춰 일정을
  잡으세요. CATS 같은 도구는 클러스터 작업을 감싸 이를 처리합니다. 영국(그레이트브리튼)에서는 Carbon Intensity API가
  지역별 예보를 공개합니다.
- **긴 작업을 일시 정지할 수 있게 하세요.** 옵티마이저 상태를 포함해 정기적으로 체크포인트를 저장하면, 전력망이
  더러울 때 작업을 멈췄다가 나중에 작업 손실 없이 재개할 수 있습니다.
- **지역과 하드웨어를 고르세요.** 지연 시간이 중요하지 않다면 데이터 이동 비용을 감안해 저탄소 지역과 효율적인
  가속기를 택하세요. [호스팅과 데이터센터](/ko/모범-사례/그린-ai-호스팅과-데이터센터/)를 참고하세요.
- **절대 에너지를 지켜보세요.** 탄소 인식 스케줄링은 작업이 실행되는 시점을 옮길 뿐, 사용량을 바꾸지는 않습니다.
  탄소와 함께 작업 단위당 에너지를 추적하세요.

## 점검 목록 {#checklist}

- [ ] 변경할 때마다 같은 설정에서 여러 번 실행해 전후의 에너지를 측정함
- [ ] 처음부터 훈련하기 전에 사전 훈련된 모델과 어댑터를 검토함
- [ ] 바뀌는 사실은 재훈련 대신 검색으로 처리함
- [ ] 가지치기, 양자화 또는 증류를 품질 기준에 따라 시험함
- [ ] 훈련에 혼합 정밀도를 사용함
- [ ] 서빙에서 배칭, KV 캐시 최적화, 효율적인 어텐션을 켬
- [ ] 출력 길이를 제한하고 동일한 요청을 캐시함
- [ ] 유연한 작업에 체크포인트를 두고 더 깨끗한 시간대에 일정을 잡음
- [ ] 훈련 에너지와 하드웨어를 모델 카드에 기록함

## 다음에 할 일 {#what-to-do-next}

1. 훈련 및 평가 스크립트에 CodeCarbon 같은 배출량 추적기를 추가하고, 결과 표에서 정확도 옆에 에너지를 적으세요.
2. 다음 미세 조정에서 LoRA나 QLoRA를 시도하고 전체 미세 조정과 비교하세요.
3. 배포된 모델의 8비트 버전과 4비트 버전을 평가 세트로 시험하세요.
4. 배칭과 최적화된 어텐션 경로를 켠 상태로 서빙 스택을 벤치마크하세요.
5. 반복되는 클러스터 작업 하나를 탄소 인식 스케줄러로 감싸세요.
6. [강좌 디렉터리](/ko/강좌/)에서 교육 과정을, [연구](/ko/연구/)와 [박사 과정](/ko/박사-과정/)에서 관련 연구를 찾아보세요.

## 자주 묻는 질문

### 양자화하면 정확도가 떨어지나요?

때로는 약간 떨어지지만, 8비트에서는 눈에 띄지 않는 경우가 많습니다. 양자화된 모델은 항상 여러분 자체 평가 세트로 시험하세요. 또한 작업이 메모리에 의해 제한되지 않을 때는 양자화가 지연 시간을 늘릴 수 있다는 점에 유의하세요.

### KV 캐시란 무엇인가요?

트랜스포머가 텍스트를 생성할 때, 앞선 토큰의 키(key)와 값(value) 행렬을 저장해 두어 단계마다 다시 계산하지 않도록 하는 것입니다. 이 캐시를 잘 관리하는 것이 서빙 효율을 높이는 가장 큰 방법 중 하나입니다.

### 훈련과 추론 중 어느 쪽의 에너지 비용이 더 큰가요?

모델이 얼마나 널리 쓰이는지에 따라 다릅니다. 훈련은 큰 일회성 비용이고, 추론은 요청할 때마다 드는 비용이므로, 인기 있는 모델에서는 대개 모델 수명 전체에 걸쳐 추론이 더 큽니다.

### 모델 병합 또는 수핑(souping)이란 무엇인가요?

같은 출발점에서 미세 조정한 여러 모델의 가중치를 평균하는 것입니다. 결과물은 하나의 모델로 실행되므로 추가 추론 비용이 없으며, 개별 모델 중 가장 좋은 것보다 성능이 더 나을 수 있습니다.

## 출처

- [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685), Hu et al. (arXiv 2106.09685) (2021)
- [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314), Dettmers et al. (arXiv 2305.14314) (2023)
- [SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot](https://arxiv.org/abs/2301.00774), Frantar and Alistarh (arXiv 2301.00774) (2023)
- [LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale](https://arxiv.org/abs/2208.07339), Dettmers et al. (arXiv 2208.07339) (2022)
- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
- [Mixed Precision Training](https://arxiv.org/abs/1710.03740), Micikevicius et al. (arXiv 1710.03740) (2017)
- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [Fast Inference from Transformers via Speculative Decoding](https://arxiv.org/abs/2211.17192), Leviathan et al. (arXiv 2211.17192) (2022)
- [Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time](https://arxiv.org/abs/2203.05482), Wortsman et al. (arXiv 2203.05482) (2022)
- [Carbon Emissions and Large Neural Network Training](https://arxiv.org/abs/2104.10350), Patterson et al. (arXiv 2104.10350) (2021)
- [AI large language models: new report shows small changes can reduce energy use by 90%](https://www.unesco.org/en/articles/ai-large-language-models-new-report-shows-small-changes-can-reduce-energy-use-90), UNESCO (2025)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2025)
- [Green Software Patterns: carbon-aware scheduling and region selection for AI workloads](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/carbon-aware-ai-scheduling.md), Green Software Foundation (2025)
- [CATS: Climate-Aware Task Scheduler](https://github.com/GreenScheduler/cats), GreenScheduler (2025)
