greenai.guide

홈 › 어떻게 하나요? › 챗봇이 대화 전체를 매번 다시 보내지 않게 하려면 어떻게 해야 하나요?

어떻게 하나요?

챗봇이 대화 전체를 매번 다시 보내지 않게 하려면 어떻게 해야 하나요?

업데이트 · 1분 분량

요약

대부분의 채팅 기능은 턴마다 대화 전체를 모델에 다시 보내므로 메시지마다 입력이 늘어납니다. 보내는 이전 턴 수를 제한하고, 오래된 턴은 짧은 메모로 요약하고, 중요한 이전 메시지나 문서만 검색해 가져오고, 고정된 시스템 프롬프트는 캐시하십시오. 긴 입력은 짧은 입력보다 훨씬 많은 에너지를 씁니다.

단계

  1. 증가 추세가 보이도록 턴마다 입력 토큰을 기록합니다.
  2. 마지막 몇 턴만 원문 그대로 보냅니다.
  3. 오래된 턴은 계속 갱신되는 짧은 요약으로 바꿉니다.
  4. 이전 메시지나 문서는 새 질문과 관련 있을 때만 검색해 가져옵니다.
  5. 고정된 시스템 프롬프트와 공유 맥락에는 프롬프트 캐싱을 씁니다.

지금까지 오간 모든 말이 아니라, 이번 턴에 필요한 것만 모델에 보내십시오. 제한 없이 늘어나는 맥락은 채팅 기능에서 가장 흔한 숨은 비용 중 하나입니다.

왜 중요한가요?

에너지는 모델이 읽는 텍스트의 양에 따라 늘어납니다. Delavande, Pierrard, Luccioni는 에너지가 프롬프트와 생성 길이에 비례해 늘어난다는 것을 발견했습니다. Epoch AI는 약 0.3 Wh인 일반적인 질의가 입력이 10,000 토큰이면 약 2.5 Wh, 100,000 토큰이면 거의 40 Wh로 늘어난다고 추정합니다. 턴마다 모든 내용을 다시 보내는 긴 고객 지원 채팅은 아무도 모르게 비싼 쪽으로 흘러갈 수 있습니다.

맥락을 작게 유지하려면 어떻게 하나요?

  • 슬라이딩 윈도. 마지막 몇 턴만 원문 그대로 유지하십시오.
  • 계속 갱신되는 요약. 몇 턴마다 작은 모델(또는 자체 코드)에 오래된 기록을 결정 사항과 사실을 담은 짧은 메모로 압축하게 하십시오.
  • 검색. 이전 메시지와 문서를 저장해 두고, 새 질문과 관련 있는 것만 가져오십시오.
  • 프롬프트 캐싱. 고정된 지침은 캐싱 사용법을 참고하십시오.
  • 새로 시작하기. 깨끗한 맥락으로 시작하는 "새 주제" 버튼을 제공하십시오.

흔한 실수

  • 관련 구절을 검색하지 않고 턴마다 같은 문서를 다시 첨부하는 것.
  • 핵심 사실을 잃는 요약. 요약 후에도 답변이 정확한지 시험하십시오.
  • 측정하지 않는 것. 입력 토큰 로그가 없으면 증가가 보이지 않습니다.

사용자도 일반 소비자용 도구에서 같은 일을 할 수 있습니다. 긴 AI 대화가 에너지를 낭비하지 않게 하는 법을 참고하십시오. 더 많은 습관은 AI를 효율적으로 쓰기를 읽어 보십시오.

출처

  1. How much energy does ChatGPT use?, Epoch AI (2025)
  2. Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
  3. What are tokens and how to count them?, OpenAI Help Center (2025)

함께하기

AI가 지구에 미치는 영향을 함께 줄여 주세요

새 가이드, 지원 공모, 디렉터리 등록 소식을 한 달에 한 번 정도 이메일로 받아 보세요. 또는 제품, 강좌, 박사 과정, 연구를 디렉터리에 추가하세요.

추적하지 않습니다. 클릭 한 번으로 구독을 해지할 수 있습니다. 다른 참여 방법 · 개인정보 보호