요약
직접 관리하는 하드웨어는 계측하고, 관리하지 않는 서비스는 추정해 AI 에너지를 측정하세요. 그런 다음 지역과 시간을 맞춘 전력망 데이터로 둘 다 탄소로 환산하세요. 모든 수치에는 경계, 방법, 불확실성을 기록하고, 총량만이 아니라 유용한 작업 단위당 수치로 보고하세요.
핵심 내용
- 가능한 곳은 계측하고(하드웨어 카운터, GPU 텔레메트리, 플러그, 스케줄러 로그), 불가능한 곳은 추정하세요(호스팅 API, 퍼블릭 클라우드).
- 모든 수치에는 시스템 경계를 밝혀야 합니다. 무엇이 포함되고 무엇이 빠졌으며, 그 이유는 무엇인지 적으세요.
- 요청당, 문서당처럼 유용한 작업 단위당 에너지를 보고하세요. 그래야 사용량이 늘어도 효율이 드러납니다.
- 작업이 실행된 지역과 시간대의 위치 기반 전력망 탄소 집약도를 사용하세요. 인증서는 이를 바꾸지 않습니다.
- 측정을 반복하고 범위로 제시하세요. 전후 한 쌍의 측정만으로는 잡음일 수 있습니다.
왜 측정해야 하나요?
측정하지 않은 것은 줄일 수도, 비교할 수도, 정직하게 주장할 수도 없습니다. 측정은 "AI는 에너지를 많이 쓴다"는 말을 행동할 수 있는 숫자로 바꿉니다. 어떤 기능, 모델, 작업이 가장 많이 드는지, 그리고 변경이 도움이 되었는지를 알려 줍니다.
수학자, 컴퓨터 과학자, 산업계가 참여한 2026년 영국 그린 AI 샌드핏(집중 토론 워크숍)에서는 측정이 병목이라는 이야기가 거듭 나왔습니다. 공개된 수치 상당수는 추정치이고, 방법은 문서화되지 않은 경우가 많으며, 같은 작업도 무엇을 세느냐에 따라 매우 다른 숫자가 나올 수 있습니다. 이 안내서는 검증을 견딜 수 있는 방법을 제시합니다.
계측해야 하나요, 추정해야 하나요?
직접 관리하는 하드웨어는 계측하고, 관리하지 않는 서비스는 추정하세요. 모든 수치가 어느 쪽인지 밝힌다면 둘 다 타당합니다.
| 상황 | 접근 방식 | 대표적인 도구 |
|---|---|---|
| 자신의 노트북, 워크스테이션, 서버 | 하드웨어 카운터로 계측 | perf 또는 powercap(Intel/AMD RAPL 카운터), PowerJoular, Scaphandre |
| 자신의 GPU | 제조사 텔레메트리를 시간에 걸쳐 샘플링해 계측 | nvidia-smi 또는 NVML, CodeCarbon |
| 연구용 클러스터 | 스케줄러의 에너지 기록 확인 | Slurm sacct(ConsumedEnergy 필드), 활성화된 경우 |
| 퍼블릭 클라우드 가상 머신 | 사용률과 청구 정보로 추정 | Cloud Carbon Footprint, 클라우드 업체의 탄소 대시보드 |
| 호스팅 AI API | 토큰과 모델 가정으로 추정 | EcoLogits |
| 선택 전 오픈 모델 비교 | 표준 벤치마크 사용 | Hugging Face AI Energy Score |
CodeCarbon의 자체 안내도 같은 선을 긋습니다. 직접 관리하는 하드웨어에서 실행되는 코드에는 CodeCarbon을, 하드웨어에 접근할 수 없는 원격 생성형 AI 서비스 호출에는 EcoLogits를 쓰라고 합니다.
계측 도구의 한계를 알아 두세요
- GPU 텔레메트리는 샘플링할 뿐, 계속 지켜보지 않습니다. 연구자들은 A100과 H100 GPU에서
nvidia-smi가 전력에 대해 실행 시간의 약 25%만 샘플링한다는 사실을 발견했습니다. 짧은 작업에서는 크게 과소 또는 과대 추정될 수 있습니다. 작업 전체에 걸쳐 샘플링하고, 여러 샘플링 간격을 덮을 만큼 오래 실행하고, 시간에 대해 적분하세요. - 소프트웨어 계측기는 모델입니다. 플랫폼마다 한 번은 벽 콘센트 계측기(계측 기능이 있는 스마트 플러그면 충분합니다)로 확인하세요.
- 클라우드 수치는 추정치입니다. 퍼블릭 클라우드 가상 머신에서는 대개 하드웨어 카운터를 쓸 수 없으므로, 클라우드 수치에는 추정치라고 표시하세요.
시스템 경계에는 무엇을 포함해야 하나요?
중요한 것을 모두 담을 만큼 경계를 넓게 긋고, 그것을 적어 두세요. 경계가 없는 수치는 어떤 것과도 비교할 수 없습니다.
Google의 2025년 Gemini 논문이 좋은 예입니다. 가속기, 호스트 머신, 유휴 용량, 데이터센터 부가 에너지를 셀 때는 텍스트 프롬프트(중앙값)를 0.24 Wh로, 활성 상태의 TPU와 GPU 사용만 셀 때는 0.10 Wh로 보고합니다. 둘 다 정직한 수치이며, 서로 다른 질문에 답할 뿐입니다. Google의 경계에는 외부 네트워크, 사용자 기기, 모델 훈련이 빠져 있고, 수치는 독립적으로 검증되지 않았습니다.
다음 층위를 하나씩 살펴보고, 각각 포함할지 뺄지 정하세요.
- 계산을 수행하는 가속기(GPU, TPU).
- 서버의 나머지 부분: CPU, 메모리, 저장 장치.
- 작업을 위해 대기 중인 유휴 용량과 예약 용량.
- 데이터센터 부가 에너지: 냉각과 전력 변환. PUE로 나타냅니다.
- 사용자와 서비스 사이의 네트워크.
- 사용자 기기.
- 내재 배출량: 하드웨어 제조 가운데 자신의 사용에 해당하는 몫.
- 모델의 유효 수명에 걸쳐 나눈 훈련과 미세 조정.
- 주변 과정: 재시도, 실패한 실행, 사람의 검토 시간.
샌드핏에서는 "AI는 손으로 하는 것보다 30배 더 든다" 같은 주장에 대해서도 같은 지적이 나왔습니다. 답은 사람의 작업 시간, 장비, 그 주변의 모든 것을 세느냐에 달려 있습니다. 비교하기 전에 경계를 정하세요.
무엇을 기록해야 하나요?
다른 사람이 측정을 반복해 비슷한 숫자를 얻을 수 있을 만큼 기록하세요. 각 수치마다 다음을 남기세요.
- 무엇을 측정했는지: 모델과 버전, 작업, 데이터셋 또는 프롬프트 세트, 입력과 출력 토큰 수.
- 어디서, 언제: 하드웨어, 지역, 날짜와 시간(탄소 집약도 계산에 필요).
- 어떻게: 도구와 버전, 샘플링 속도, 계측인지 추정인지, 유휴 기준선 포함 여부.
- 경계: 위 층위 가운데 무엇이 포함되었는지.
- 배분 규칙: 공유 에너지나 유휴 에너지를 사용자나 서비스 사이에 어떻게 나누었는지.
- 분산: 실행 횟수, 평균과 범위.
- 품질: 당시의 정확도나 작업 성공률. 싸지만 틀린 답은 절약이 아닙니다.
에너지를 탄소로 어떻게 환산하나요?
에너지에 작업이 실행된 장소와 시간의 전력망 탄소 집약도를 곱하고, 경계에 포함된다면 내재 배출량을 더하세요. ISO/IEC 21031:2024로 발행된 Green Software Foundation의 소프트웨어 탄소 집약도(SCI) 사양은 이를 비율로 나타냅니다.
SCI = ((E × I) + M) per R
여기서 E는 에너지, I는 위치 기반 전력망 탄소 집약도, M은 내재 배출량, R은 기능 단위입니다. 이 사양은 위치 기반 전력망 수치를 사용하며, 재생에너지 인증서, 전력구매계약, 상쇄(오프셋) 같은 시장 기반 수단으로 점수를 낮추지 못하게 합니다.
- 가능하면 지역별로 시간을 맞춘 데이터를 쓰세요. 영국(그레이트브리튼)에서는 National Energy System Operator의 Carbon Intensity API가 지역별 예측치와 추정치를 제공하고, Electricity Maps는 다른 많은 나라를 다룹니다.
- 더 세밀한 자료가 전혀 없을 때만 연간 국가 평균을 쓰고, 그렇게 했다고 밝히세요.
어떤 작업 단위 지표가 가장 좋은가요?
AI가 제공하는 가치에 맞는 기능 단위를 고르고, 그 단위로 보고하세요. 총량은 성장과 함께 늘어나 효율을 가리지만, 단위당 수치는 효율을 보여 줍니다.
AI 작업에 좋은 기능 단위는 다음과 같습니다.
- 요청당, 답변당, 대화당
- 요약한 문서당, 분류한 티켓당, 생성한 이미지당
- 성공한 작업당(실패한 시도도 반영되므로 더 좋습니다)
- 개발 작업이라면 훈련 실행당, 미세 조정한 모델당
그런 다음 단위당 에너지, 단위당 탄소, 단위당 품질, 총량을 나란히 추적하세요. 단위당 에너지는 줄었는데 총량이 늘었다면, 효율은 나아지고 있지만 사용량이 더 빨리 늘고 있다는 뜻입니다. 이것이 리바운드 효과이며, 보고서에 이를 드러내야 합니다.
불확실성은 어떻게 다루나요?
반복하고, 범위로 보고하고, 잡음보다 큰 변화만 주장하세요. 측정값은 온도, 백그라운드 프로세스, 주파수 조절에 따라 달라집니다.
- 같은 머신에서 먼저 유휴 기준선을 측정하세요.
- 테스트마다 여러 번 실행하고 평균과 분산을 보고하세요.
- 한 번에 하나만 바꾸고, 같은 환경과 부하에서 다시 측정하세요.
- 추정치라면 모든 가정(모델 크기, 하드웨어, 사용률, PUE)을 나열하고 낮은 경우와 높은 경우를 제시하세요.
- 계측치나 공급업체가 보고한 수치가 생기면 추정치를 그것으로 바꾸세요.
공개된 프롬프트당 수치는 유용한 참고 자료일 뿐, 자신의 숫자를 대신할 수 없습니다. 일반적인 ChatGPT 질의에 대한 Epoch AI의 상향식 추정치 약 0.3 Wh는 10,000토큰 입력에서는 약 2.5 Wh로, 100,000토큰 입력에서는 거의 40 Wh로 늘어납니다. 어떤 대표 평균값보다 자신의 사용 패턴이 더 중요합니다.
체크리스트
- [ ] 각 수치에 계측인지 추정인지, 도구와 버전을 표시했다
- [ ] 무엇을 왜 뺐는지를 포함해 경계를 적어 두었다
- [ ] 유휴 기준선을 기록하고 공유 에너지의 배분 규칙을 밝혔다
- [ ] GPU 전력을 순간 측정이 아니라 작업 전체에 걸쳐 샘플링했다
- [ ] 총량, 품질과 함께 기능 단위당 에너지를 보고했다
- [ ] 위치 기반, 시간 매칭 전력망 데이터로 탄소를 계산했다
- [ ] 여러 번 실행하고 평균과 범위를 보고했다
- [ ] 다른 사람이 반복할 수 있도록 결과와 함께 방법을 저장했다
다음에 할 일
- AI 기능이나 워크로드 하나를 골라 기능 단위를 정하세요.
- 훈련 또는 로컬 추론 스크립트에 CodeCarbon을, 또는 AI API 클라이언트에 EcoLogits를 추가하고, 요청이나 실행마다 에너지를 기록하세요.
- 한 쪽짜리 측정 방법서를 쓰세요. 경계, 도구, 배분 규칙, 탄소 데이터 출처를 담으세요.
- 모델을 고르기 전에 후보 모델을 벤치마크하세요. 알맞은 모델 고르기를 참고하세요.
- 수치를 공개하기 전에 정직한 친환경 주장에 비추어 확인하세요.
- 측정이 병목인 이유를 읽어 보고, 제품 디렉터리에서 측정 도구를, 컨설턴트에게서 도움을 찾아보세요.
자주 묻는 질문
AI 프롬프트 하나는 에너지를 얼마나 쓰나요?
일반적인 텍스트 프롬프트에 대해 공개된 수치는 1와트시에 훨씬 못 미칩니다. Google은 Gemini 텍스트 프롬프트(중앙값)를 0.24 Wh로 보고하며, Epoch AI는 일반적인 ChatGPT 질의를 약 0.3 Wh로 추정합니다. 긴 입력, 추론, 이미지나 동영상 생성은 훨씬 더 많이 들 수 있습니다.
ChatGPT 같은 호스팅 AI 서비스의 에너지를 측정할 수 있나요?
직접은 할 수 없습니다. EcoLogits 같은 도구로 토큰 수와 모델 가정을 바탕으로 추정할 수 있고, 공급업체에 자체 수치와 방법을 요청할 수 있습니다.
실행 시간을 에너지의 대용치로 써도 되나요?
아니요. 속도와 에너지는 함께 움직일 때가 많지만 항상 그렇지는 않으므로, 에너지를 직접 측정하고 둘 다 보고하세요.
시스템 경계란 무엇인가요?
수치에 무엇이 포함되는지를 적은 목록입니다. 예를 들어 GPU만, 서버 전체, 데이터센터 부가 에너지, 네트워크, 사용자 기기, 하드웨어 제조까지 포함할 수 있습니다. 정직한 두 수치도 경계가 다르면 열 배까지 차이 날 수 있습니다.
출처
- Measuring the environmental impact of delivering AI at Google scale, Google (arXiv 2508.15734) (2025)
- How much energy does ChatGPT use?, Epoch AI (2025)
- Part-time power measurements: nvidia-smi's lack of attention, Yang et al. (arXiv 2312.02741) (2023)
- Software Carbon Intensity (SCI) specification, Green Software Foundation (2024)
- ISO/IEC 21031:2024 Software Carbon Intensity (SCI) specification, ISO (2024)
- When to use CodeCarbon, CodeCarbon (2025)
- EcoLogits documentation, EcoLogits (2025)
- AI Energy Score, Hugging Face (2025)
- Carbon Intensity API, National Energy System Operator (2025)
- Slurm sacct manual (ConsumedEnergy), SchedMD (2025)
관련 내용
작업에 맞는 모델 고르기
AI 규모를 알맞게 맞추는 법: 작거나 특화된 모델을 쓸 때, 프런티어 모델이 비용값을 할 때, 라우팅의 원리, AI를 쓰지 말아야 할 때를 설명합니다.
AI에 관한 정직한 친환경 주장
AI 그린워싱을 피하는 법: 주장해도 되는 것과 안 되는 것, 리바운드 효과, 정직한 보고, 영국·EU·미국의 환경 주장 규정을 설명합니다.
측정이 그린 AI의 병목입니다
AI 에너지 수치를 믿고 비교하기 어려운 이유를 설명합니다. 자체 보고 수치, 측정 아닌 추정, 서로 다른 경계, 그리고 좋은 측정의 모습을 다룹니다.
AI 에너지 라벨과 벤치마크
2026년 AI 에너지 등급 현황: AI Energy Score, MLPerf Power, EU AI Act 문서화, 데이터 센터 등급, 라벨이 보여 줄 수 있는 것을 정리합니다.