요약
대부분의 채팅 기능은 턴마다 대화 전체를 모델에 다시 보내므로 메시지마다 입력이 늘어납니다. 보내는 이전 턴 수를 제한하고, 오래된 턴은 짧은 메모로 요약하고, 중요한 이전 메시지나 문서만 검색해 가져오고, 고정된 시스템 프롬프트는 캐시하십시오. 긴 입력은 짧은 입력보다 훨씬 많은 에너지를 씁니다.
단계
- 증가 추세가 보이도록 턴마다 입력 토큰을 기록합니다.
- 마지막 몇 턴만 원문 그대로 보냅니다.
- 오래된 턴은 계속 갱신되는 짧은 요약으로 바꿉니다.
- 이전 메시지나 문서는 새 질문과 관련 있을 때만 검색해 가져옵니다.
- 고정된 시스템 프롬프트와 공유 맥락에는 프롬프트 캐싱을 씁니다.
지금까지 오간 모든 말이 아니라, 이번 턴에 필요한 것만 모델에 보내십시오. 제한 없이 늘어나는 맥락은 채팅 기능에서 가장 흔한 숨은 비용 중 하나입니다.
왜 중요한가요?
에너지는 모델이 읽는 텍스트의 양에 따라 늘어납니다. Delavande, Pierrard, Luccioni는 에너지가 프롬프트와 생성 길이에 비례해 늘어난다는 것을 발견했습니다. Epoch AI는 약 0.3 Wh인 일반적인 질의가 입력이 10,000 토큰이면 약 2.5 Wh, 100,000 토큰이면 거의 40 Wh로 늘어난다고 추정합니다. 턴마다 모든 내용을 다시 보내는 긴 고객 지원 채팅은 아무도 모르게 비싼 쪽으로 흘러갈 수 있습니다.
맥락을 작게 유지하려면 어떻게 하나요?
- 슬라이딩 윈도. 마지막 몇 턴만 원문 그대로 유지하십시오.
- 계속 갱신되는 요약. 몇 턴마다 작은 모델(또는 자체 코드)에 오래된 기록을 결정 사항과 사실을 담은 짧은 메모로 압축하게 하십시오.
- 검색. 이전 메시지와 문서를 저장해 두고, 새 질문과 관련 있는 것만 가져오십시오.
- 프롬프트 캐싱. 고정된 지침은 캐싱 사용법을 참고하십시오.
- 새로 시작하기. 깨끗한 맥락으로 시작하는 "새 주제" 버튼을 제공하십시오.
흔한 실수
- 관련 구절을 검색하지 않고 턴마다 같은 문서를 다시 첨부하는 것.
- 핵심 사실을 잃는 요약. 요약 후에도 답변이 정확한지 시험하십시오.
- 측정하지 않는 것. 입력 토큰 로그가 없으면 증가가 보이지 않습니다.
사용자도 일반 소비자용 도구에서 같은 일을 할 수 있습니다. 긴 AI 대화가 에너지를 낭비하지 않게 하는 법을 참고하십시오. 더 많은 습관은 AI를 효율적으로 쓰기를 읽어 보십시오.
출처
- How much energy does ChatGPT use?, Epoch AI (2025)
- Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
- What are tokens and how to count them?, OpenAI Help Center (2025)
관련 내용
LLM 호출 에너지를 캐싱으로 줄이려면 어떻게 해야 하나요?
LLM 작업을 줄이는 두 가지 캐싱, 즉 반복되는 맥락을 위한 제공업체 프롬프트 캐싱과 같은 질문에 두 번 답하지 않게 하는 자체 캐시를 설명합니다.
긴 AI 대화가 에너지를 낭비하지 않게 하려면 어떻게 해야 하나요?
아주 긴 AI 대화가 메시지마다 비용이 더 드는 이유와 대화를 가볍게 유지하는 습관: 새 대화, 짧은 요약, 필요한 것만 붙여넣기.
LLM이 쓰는 분량을 제한하려면 어떻게 해야 하나요?
개발자가 LLM 출력을 제한하는 법: 최대 토큰 설정, 형식과 길이 지정, 중지 시퀀스와 구조화된 출력 사용, 잘린 답변 처리.
AI를 효율적으로 쓰기: 일상 습관
AI 사용 에너지를 줄이는 일상 습관을 소개합니다. 명확한 프롬프트, 재생성 반복 줄이기, 이미지와 동영상 절제, 캐싱, 기본 기능 끄기를 다룹니다.