요약
주제가 바뀌면 새 대화를 시작하고, 긴 대화가 여전히 쓸모 있다면 짧은 요약을 요청해 새 대화에서 그 요약으로 이어 가십시오. 챗봇은 보통 새 메시지에 답할 때마다 지금까지의 대화를 다시 읽으므로, 아주 긴 대화는 모든 답변을 필요 이상으로 비싸게 만듭니다.
단계
- 새로운 주제나 작업마다 새 대화를 시작합니다.
- 긴 대화가 쓸모 있는 지점에 이르면 다섯 줄 요약을 요청합니다.
- 그 요약을 새 대화에 붙여 넣고 거기서 이어 갑니다.
- 붙여 넣은 큰 문서는 필요한 내용을 얻은 뒤 대화에서 지웁니다.
- "모든 것"을 담은 대화 하나를 몇 주씩 열어 두지 않습니다.
긴 대화는 메시지가 늘 때마다 더 비싸집니다. 챗봇은 답하기 위해 보통 마지막 한 줄만이 아니라 지금까지의 대화 전체를 처리해야 합니다. 수십 번 주고받고 보고서를 한두 개 붙여 넣은 뒤라면, 새 답변 하나가 수천 개의 토큰에 달하는 이전 내용을 읽고 있을 수 있습니다.
입력 길이가 얼마나 중요한가요?
매우 중요합니다. Epoch AI는 일반적인 ChatGPT 질의를 약 0.3 Wh로 추정하며, 입력이 10,000 토큰이면 약 2.5 Wh, 100,000 토큰이면 거의 40 Wh로 늘어납니다. 문서를 붙여 넣은 아주 긴 대화는 모든 답변을 더 높은 수치 쪽으로 밀어 올릴 수 있습니다. 일부 서비스는 보이지 않는 곳에서 이전 내용을 캐시하거나 줄이므로 실제 비용은 다양하며, 공개되는 경우는 드뭅니다.
대화를 가볍게 유지하려면 어떻게 하나요?
- 주제 하나에 대화 하나. 모델이 오래된 맥락에 흔들리지 않으므로 답변도 더 집중됩니다.
- 요약하고 다시 시작하십시오. "지금까지 합의한 내용을 다섯 줄로 요약해 주세요"라고 요청한 다음, 그 요약으로 새 대화를 여십시오.
- 파일 전체가 아니라 발췌만 붙여 넣으십시오. 필요한 내용을 뽑아낸 뒤에는 원본이 대화에 남아 있을 필요가 없습니다.
- 도구가 프로젝트나 저장된 지침 기능을 제공한다면, 반복해서 말해야 할 선호 사항은 거기에 두십시오.
흔한 실수
- 거대한 대화 하나를 공책처럼 쓰는 것. 메모는 다른 곳에 저장하고 관련 있는 것만 가져오십시오.
- 같은 문서를 한 대화에 여러 번 다시 붙여 넣는 것.
- 기억이 공짜라고 가정하는 것. 모델이 고려해야 하는 것은 무엇이든 여전히 처리되어야 합니다.
채팅 도구를 만든다면 코드에도 같은 생각이 적용됩니다. 챗봇이 대화 전체를 다시 보내지 않게 하기를 참고하십시오. 더 많은 팁은 AI를 효율적으로 쓰기에 있습니다.
출처
- How much energy does ChatGPT use?, Epoch AI (2025)
- What are tokens and how to count them?, OpenAI Help Center (2025)
관련 내용
에너지를 덜 쓰는 프롬프트는 어떻게 작성하나요?
연산이 덜 드는 AI 프롬프트 작성법입니다. 구체적으로 쓰고, 길이를 정하고, 필요한 것만 붙여 넣고, 재시도 대신 한 번에 제대로 하십시오.
챗봇이 대화 전체를 매번 다시 보내지 않게 하려면 어떻게 해야 하나요?
챗봇 맥락을 작게 유지하는 법: 이전 턴 수 제한, 오래된 메시지 요약, 관련 내용만 검색, 고정 프롬프트 캐싱으로 입력 증가를 막습니다.
ChatGPT 사용 에너지를 줄이려면 어떻게 해야 하나요?
ChatGPT와 비슷한 챗봇 사용 에너지를 줄이는 실용적인 방법입니다. 대화는 짧게, 재생성은 적게, 가벼운 모델을 쓰고, 이미지 생성은 줄입니다.
AI를 효율적으로 쓰기: 일상 습관
AI 사용 에너지를 줄이는 일상 습관을 소개합니다. 명확한 프롬프트, 재생성 반복 줄이기, 이미지와 동영상 절제, 캐싱, 기본 기능 끄기를 다룹니다.