greenai.guide

홈 › 글 › AI를 더 효율적으로 만드는 수학

글

AI를 더 효율적으로 만드는 수학

업데이트 · 5분 분량

요약

AI가 쓰는 에너지의 상당 부분은 작업에 필요하지 않은 계산과 데이터 이동에 들어갑니다. 가지치기, 희소성, 무작위 스케칭, 랜덤 행렬 이론, 구조를 내장한 모델 같은 수학적 방법은 그런 중복을 없애며, 정확도 손실이 거의 또는 전혀 없는 경우가 많습니다. 다만 이런 방법은 절감 효과를 측정하고, 그 절감분을 단순히 더 큰 모델에 써 버리지 않을 때만 에너지를 아껴 줍니다.

핵심 내용

  • 대형 신경망은 과매개변수화되어 있습니다. 가지치기를 하면 훈련 뒤 정확도 손실이 거의 없이 가중치의 대부분을 제거할 수 있습니다.
  • 희소성은 하드웨어와 소프트웨어가 0을 건너뛸 수 있을 때만 에너지를 절약합니다. 그렇지 않으면 서류상의 절감일 뿐입니다.
  • 데이터 이동은 산술 연산보다 에너지가 더 드는 경우가 많으므로, 스케칭이나 IO 인식 어텐션처럼 메모리 트래픽을 줄이는 방법이 중요합니다.
  • 알려진 물리 법칙이나 대칭성을 모델에 내장하면 필요한 매개변수와 데이터를 줄일 수 있습니다.
  • 고전적인 수치 해석 방법이 더 친환경적인 답일 때도 있으며, 하이브리드 파이프라인은 도움이 되는 부분에만 작은 신경망을 쓸 수 있습니다.

신경망이 쓰는 에너지의 대부분은 두 가지에 들어갑니다. 산술 연산, 그리고 메모리와 프로세서 사이에서 숫자를 옮기는 일입니다. 수학은 둘 다 줄일 수 있습니다. 이 글은 주요 방법을 쉬운 말로, 그 뒤에 있는 발표 논문과 함께 설명하고, 각 방법이 어디에서 효과를 잃는지도 다룹니다.

2026년 영국에서 수학자, 컴퓨터 과학자, 산업계가 모인 그린 AI 샌드핏(집중 토론 워크숍)은 이 질문을 중심에 두었습니다. 수요가 늘어나는 가운데 수리 과학은 AI에 필요한 에너지와 자원을 어떻게 줄일 수 있을까? 아래 방법들은 그 자리에서 가장 자주 언급된 것들이며, 발표된 근거와 함께 살펴봅니다.

왜 제거할 중복이 있을까요?

대형 모델은 작업에 엄밀히 필요한 것보다 큽니다. 크기가 클수록 훈련이 쉬워지기 때문입니다. 훈련은 고차원 공간에서 더 잘 되지만, 훈련이 끝나면 많은 가중치가 거의 보탬이 되지 않습니다.

그래서 세 가지 절감의 여지가 생깁니다. 가중치 줄이기(가지치기), 어느 순간 활성화된 값 줄이기(희소성), 데이터 이동 줄이기(스케칭과 메모리 인식 알고리즘)입니다. 네 번째 방식은 알려진 구조를 모델에 내장해 처음부터 중복을 피하는 것입니다.

가지치기란 무엇이고, 얼마나 제거할 수 있을까요?

가지치기는 가장 적게 기여하는 가중치를 삭제한 뒤 신경망이 회복하도록 하는 것입니다. Han과 동료들은 2015년 가지치기로 AlexNet 이미지 모델의 매개변수를 9분의 1로, VGG-16의 매개변수를 13분의 1로 줄이면서도 정확도 손실이 없음을 보였습니다.

이후의 연구는 이 아이디어를 더 정교하게 만들었습니다.

  • 복권 가설(lottery ticket hypothesis)(Frankle과 Carbin, 2019)은 대형 신경망 안에 훨씬 작은 하위 신경망이 들어 있으며, 알맞은 시작점에서 훈련하면 전체 신경망의 정확도와 맞먹는다는 것을 발견했습니다.
  • SparseGPT(Frantar와 Alistarh, 2023)는 재훈련 없이 한 번에 초대형 언어 모델을 최소 50% 희소성까지 가지치기했으며, 퍼플렉서티(perplexity) 증가는 작았습니다.
  • 300편이 넘는 논문을 다룬 Hoefler와 동료들의 2021년 조사는 가지치기가 언제 효과가 있고 언제 없는지에 대한 표준 안내서입니다.

희소성은 실제로 에너지를 절약할까요?

0을 건너뛸 때만 그렇습니다. 80%가 0인 행렬이라도 하드웨어가 모든 원소를 곱하면 비용은 그대로입니다. 비구조적 희소성(0이 아무 곳에나 흩어져 있음)과 구조적 희소성(블록, 채널, 패턴 단위로 0이 모여 있음)을 구분하는 것이 도움이 되는데, 일반 칩은 구조적 희소성을 훨씬 쉽게 활용할 수 있습니다.

희소성을 찾을 수 있는 곳은 두 군데입니다.

  • 가중치에서, 가지치기를 통해.
  • 활성화에서, 즉 주어진 입력에 대해 신경망을 흐르는 값에서. Kurtz와 동료들(2020)은 ReLU 활성화 함수의 임계값을 높이면 훨씬 더 많은 활성화 값이 정확히 0이 되어 추론 때 건너뛸 수 있음을 보였습니다. Mirzadeh와 동료들(2024)은 ReLU 활성화를 쓰는 대형 언어 모델도 같은 효과를 활용해 계산을 줄일 수 있다고 주장했습니다.

활성화 희소성은 동적입니다. 어떤 값이 0인지가 입력마다 달라집니다. 그래서 하드웨어에서 활용하기가 더 어렵고, 이것이 샌드핏에서 하드웨어–소프트웨어 공동 설계를 나중에 덧붙이는 일이 아니라 수학의 일부로 다룬 이유 중 하나입니다.

데이터 이동은 왜 그렇게 중요할까요?

메모리에서 숫자 하나를 가져오는 데 그 숫자로 산술 연산을 하는 것보다 더 많은 에너지가 들 수 있습니다. 데이터를 덜 옮기는 알고리즘이 계산을 덜 하는 알고리즘보다 더 많이 절약하는 경우가 많습니다.

이 문제를 다루는 방법은 두 갈래입니다.

  • 무작위 스케칭(randomised sketching). 스케치란 필요한 성질은 유지하면서 큰 행렬을 훨씬 작게 무작위로 투영한 것입니다. Halko, Martinsson, Tropp의 2011년 논문과 Martinsson과 Tropp의 2020년 조사는 무작위 수치 선형대수의 이론을 정리했으며, 이 이론은 이런 근사에 대해 증명 가능한 오차 한계를 제공합니다. 신경망에 적용하면 스케치는 큰 중간 결과를 칩 밖으로 옮기기 전에 압축할 수 있습니다.
  • IO 인식 알고리즘. FlashAttention(Dao와 동료들, 2022)은 표준 방법과 정확히 같은 어텐션 결과를 계산하지만, GPU의 크고 느린 메모리와 작고 빠른 메모리 사이의 읽기·쓰기를 줄이도록 작업을 재구성합니다. 절감은 근사가 아니라 작업 스케줄링에서 나옵니다.

랜덤 행렬 이론은 무엇을 더해 줄까요?

랜덤 행렬 이론은 큰 무작위 행렬이 어떻게 움직이는지 설명하는데, 훈련 시작 시점의 신경망 가중치가 바로 그런 행렬입니다. 그래서 수학자들은 신경망을 훈련하기 전에 그 성질을 예측할 수 있습니다.

Pennington과 Worah(2017)는 이 이론을 이용해 넓은 신경망에서 신호가 어떻게 전달되는지 분석했습니다. Martin과 Mahoney(2021)는 훈련된 가중치 행렬의 스펙트럼을 연구해, 한 층이 얼마나 잘 학습했는지를 보여 주는 패턴을 찾았습니다. 이런 결과는 여러 변형을 훈련해 보는 시행착오 없이 희소성 수준을 정하고, 필요 이상으로 큰 층을 진단하는 데 도움이 됩니다.

구조가 데이터와 매개변수를 대신할 수 있을까요?

네, 구조가 알려져 있다면 가능합니다. 어떤 문제가 물리 법칙이나 대칭성을 따른다면, 그 지식을 내장한 모델은 데이터에서 그것을 배울 필요가 없습니다.

  • 물리 정보 신경망(Raissi, Perdikaris, Karniadakis, 2019)은 지배 방정식을 훈련 목표에 더해, 물리적으로 불가능한 답에 벌점을 줍니다.
  • 기하학적 딥러닝(Bronstein과 동료들, 2021)은 회전이나 순열 같은 대칭성을 지키는 신경망을 설계해, 더 적은 매개변수와 예제로 충분하게 합니다.
  • 알고리즘 언롤링(algorithm unrolling)(Monga, Li, Eldar, 2021)은 고전적인 반복 알고리즘의 단계를 신경망의 층으로 바꿔, 작고 해석 가능한 모델을 만듭니다.

샌드핏에서는 이와 관련된 아이디어가 거듭 나왔습니다. 바로 하이브리드 파이프라인입니다. 고전적이거나 물리 기반인 방법은 그것이 잘하는 단계에 그대로 두고, 시뮬레이션에서 비용이 큰 한 구성 요소의 대리 모델처럼 학습에 알맞은 부분에만 작은 신경망을 쓰는 것입니다. 때로는 가장 친환경적인 답이 신경망 없이 기존 수치 해석 방법을 쓰는 것입니다.

자동 미분과 양자화는 어디에 들어맞을까요?

자동 미분(AD)은 프로그램의 정확한 도함수를 계산하며, 훈련의 엔진입니다. Baydin과 동료들의 2018년 조사가 설명하듯, 역전파는 역방향 모드 AD입니다. 효율적인 AD는 그 자체로 그린 AI에 중요하며, 가지치기 인식 훈련이나 미분 가능한 에너지 벌점 같은 기법을 가능하게 하는 것도 AD입니다.

양자화는 숫자를 더 적은 비트로 저장합니다. 예를 들어 32비트 부동소수점 대신 8비트 정수를 씁니다. Jacob과 동료들(2018)은 정수 연산만으로 추론하도록 신경망을 훈련하는 방법을 보였으며, 이는 연산당 메모리와 에너지를 줄입니다. 비트가 적으면 옮겨야 할 데이터도 줄어듭니다.

새 모델을 훈련하는 대신 기존 모델을 재사용할 수 있을까요?

많은 경우 가능합니다. Wortsman과 동료들(2022)은 같은 모델을 미세 조정한 여러 버전의 가중치를 평균 낸 "모델 수프(model soup)"가 추론 비용을 전혀 늘리지 않고 정확도를 높일 수 있음을 보였습니다. 기존 모델을 병합하고 조정하면 처음부터 다시 훈련하는 비용을 되풀이하지 않아도 됩니다. 생성보다 오케스트레이션은 같은 재사용 아이디어를 더 발전시킵니다.

한계는 무엇일까요?

효율 향상은 실제로 있지만, 자동으로 절감이 되지는 않습니다. 위의 모든 방법에는 세 가지 단서가 붙습니다.

  • 서류상의 절감(더 적은 매개변수, 더 적은 연산)은 실제 하드웨어에서 에너지를 측정해 확인해야 합니다. AI 에너지 측정하기를 참고하십시오.
  • 정확도는 벤치마크 평균만이 아니라 실제 작업에서 확인해야 합니다.
  • 계산이 저렴해지면 더 많은 계산에 쓰이는 경향이 있습니다. 효율은 충분성이 아니다가 이 리바운드 효과를 설명합니다.

다음에 할 일

  • 모델을 훈련하거나 미세 조정한다면, 훈련 후 가지치기와 양자화부터 시도하십시오. 가장 저렴하게 얻을 수 있는 성과입니다. 효율적인 훈련과 추론을 참고하십시오.
  • 희소성에 기대기 전에, 사용하는 하드웨어와 라이브러리가 실제로 희소성을 활용하는지 확인하십시오.
  • 신경망을 꺼내 들기 전에, 고전적인 방법이나 하이브리드가 이미 문제를 해결하는지 물어보십시오.
  • 어떤 변경이든 그 전후에, 실제로 사용할 하드웨어에서 에너지를 측정하십시오.
  • 연구자라면 연구와 박사 과정 목록에서 효율적인 AI 분야의 연구비 지원 프로젝트와 박사 과정을 찾아보고, 연구자를 위한 안내를 참고하십시오.

자주 묻는 질문

AI에서 가지치기(pruning)란 무엇인가요?

가지치기는 훈련된 신경망에서 출력에 거의 기여하지 않는 가중치나 뉴런 전체를 제거하는 것입니다. 더 작아진 신경망은 메모리를 덜 쓰고, 알맞은 하드웨어에서는 계산과 에너지도 덜 씁니다.

희소 모델은 항상 에너지를 덜 쓰나요?

아닙니다. 0으로 가득한 모델도 하드웨어와 소프트웨어가 그 0을 건너뛸 때만 에너지를 절약합니다. 일반 GPU에서 비구조적 희소성은 밀집 모델보다 전혀 빠르지 않을 수 있으며, 그래서 구조적 희소성과 희소 커널이 중요합니다.

물리 정보 신경망(physics-informed neural network)이란 무엇인가요?

알려진 물리 법칙을 따르도록 훈련된 신경망으로, 보통 지배 방정식을 손실 함수에 더하는 방식으로 만듭니다. 이런 지식을 내장하면 신경망이 유용한 해를 배우는 데 필요한 데이터가 줄어듭니다.

더 좋은 칩에 비해 수학이 정말 차이를 만들 수 있나요?

네, 그리고 둘은 서로 결합됩니다. 더 나은 알고리즘은 해야 할 일을 줄이고, 더 나은 하드웨어는 그 일을 더 저렴하게 합니다. 양자화와 효율적인 어텐션처럼 AI에서 가장 큰 절감 가운데 몇몇은 새로운 칩이 아니라 수학과 알고리즘에서 나왔습니다.

출처

  1. Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
  2. The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
  3. Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
  4. SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
  5. Inducing and exploiting activation sparsity for fast inference on deep neural networks, Kurtz et al., ICML (2020)
  6. ReLU strikes back: exploiting activation sparsity in large language models, Mirzadeh et al., ICLR (2024)
  7. Finding structure with randomness: probabilistic algorithms for constructing approximate matrix decompositions, Halko, Martinsson and Tropp, SIAM Review (2011)
  8. Randomized numerical linear algebra: foundations and algorithms, Martinsson and Tropp, Acta Numerica (2020)
  9. FlashAttention: fast and memory-efficient exact attention with IO-awareness, Dao, Fu, Ermon, Rudra and Ré, NeurIPS (2022)
  10. Implicit self-regularization in deep neural networks: evidence from random matrix theory and implications for learning, Martin and Mahoney, Journal of Machine Learning Research (2021)
  11. Nonlinear random matrix theory for deep learning, Pennington and Worah, NeurIPS (2017)
  12. Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations, Raissi, Perdikaris and Karniadakis, Journal of Computational Physics (2019)
  13. Geometric deep learning: grids, groups, graphs, geodesics, and gauges, Bronstein, Bruna, Cohen and Veličković (2021)
  14. Algorithm unrolling: interpretable, efficient deep learning for signal and image processing, Monga, Li and Eldar, IEEE Signal Processing Magazine (2021)
  15. Automatic differentiation in machine learning: a survey, Baydin, Pearlmutter, Radul and Siskind, Journal of Machine Learning Research (2018)
  16. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
  17. Quantization and training of neural networks for efficient integer-arithmetic-only inference, Jacob et al., CVPR (2018)

함께하기

AI가 지구에 미치는 영향을 함께 줄여 주세요

새 가이드, 지원 공모, 디렉터리 등록 소식을 한 달에 한 번 정도 이메일로 받아 보세요. 또는 제품, 강좌, 박사 과정, 연구를 디렉터리에 추가하세요.

추적하지 않습니다. 클릭 한 번으로 구독을 해지할 수 있습니다. 다른 참여 방법 · 개인정보 보호