# 챗봇이 대화 전체를 매번 다시 보내지 않게 하려면 어떻게 해야 하나요?

> 챗봇 맥락을 작게 유지하는 법: 이전 턴 수 제한, 오래된 메시지 요약, 관련 내용만 검색, 고정 프롬프트 캐싱으로 입력 증가를 막습니다.

Source: https://greenai.guide/ko/방법/챗봇이-대화-전체를-매번-다시-보내지-않게-하려면-어떻게-해야-하나요/  
Updated: 2026-11-19

## 요약

대부분의 채팅 기능은 턴마다 대화 전체를 모델에 다시 보내므로 메시지마다 입력이 늘어납니다. 보내는 이전 턴 수를 제한하고, 오래된 턴은 짧은 메모로 요약하고, 중요한 이전 메시지나 문서만 검색해 가져오고, 고정된 시스템 프롬프트는 캐시하십시오. 긴 입력은 짧은 입력보다 훨씬 많은 에너지를 씁니다.

## Steps

1. 증가 추세가 보이도록 턴마다 입력 토큰을 기록합니다.
2. 마지막 몇 턴만 원문 그대로 보냅니다.
3. 오래된 턴은 계속 갱신되는 짧은 요약으로 바꿉니다.
4. 이전 메시지나 문서는 새 질문과 관련 있을 때만 검색해 가져옵니다.
5. 고정된 시스템 프롬프트와 공유 맥락에는 프롬프트 캐싱을 씁니다.

**지금까지 오간 모든 말이 아니라, 이번 턴에 필요한 것만 모델에 보내십시오.** 제한 없이 늘어나는 맥락은 채팅 기능에서 가장 흔한 숨은 비용 중 하나입니다.

## 왜 중요한가요? {#why-does-it-matter}

에너지는 모델이 읽는 텍스트의 양에 따라 늘어납니다. Delavande, Pierrard, Luccioni는 에너지가 프롬프트와 생성 길이에 비례해 늘어난다는 것을 발견했습니다. Epoch AI는 약 0.3 Wh인 일반적인 질의가 입력이 10,000 토큰이면 약 2.5 Wh, 100,000 토큰이면 거의 40 Wh로 늘어난다고 추정합니다. 턴마다 모든 내용을 다시 보내는 긴 고객 지원 채팅은 아무도 모르게 비싼 쪽으로 흘러갈 수 있습니다.

## 맥락을 작게 유지하려면 어떻게 하나요? {#how-do-i-keep-context-small}

- **슬라이딩 윈도.** 마지막 몇 턴만 원문 그대로 유지하십시오.
- **계속 갱신되는 요약.** 몇 턴마다 작은 모델(또는 자체 코드)에 오래된 기록을 결정 사항과 사실을 담은 짧은 메모로 압축하게 하십시오.
- **검색.** 이전 메시지와 문서를 저장해 두고, 새 질문과 관련 있는 것만 가져오십시오.
- **프롬프트 캐싱.** 고정된 지침은 [캐싱 사용법](/ko/방법/llm-호출-에너지를-캐싱으로-줄이려면-어떻게-해야-하나요/)을 참고하십시오.
- **새로 시작하기.** 깨끗한 맥락으로 시작하는 "새 주제" 버튼을 제공하십시오.

## 흔한 실수 {#common-mistakes}

- **관련 구절을 검색하지 않고 턴마다 같은 문서를 다시 첨부하는 것.**
- **핵심 사실을 잃는 요약.** 요약 후에도 답변이 정확한지 시험하십시오.
- **측정하지 않는 것.** 입력 토큰 로그가 없으면 증가가 보이지 않습니다.

사용자도 일반 소비자용 도구에서 같은 일을 할 수 있습니다. [긴 AI 대화가 에너지를 낭비하지 않게 하는 법](/ko/방법/긴-ai-대화가-에너지를-낭비하지-않게-하려면-어떻게-해야-하나요/)을 참고하십시오.
더 많은 습관은 [AI를 효율적으로 쓰기](/ko/모범-사례/ai를-효율적으로-쓰기-일상-습관/)를 읽어 보십시오.

## 출처

- [How much energy does ChatGPT use?](https://epoch.ai/gradient-updates/how-much-energy-does-chatgpt-use), Epoch AI (2025)
- [Small talk, big impact: the energy cost of thanking AI](https://arxiv.org/abs/2601.22357), Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
- [What are tokens and how to count them?](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them), OpenAI Help Center (2025)
