greenai.guide

홈 › 어떻게 하나요? › LLM 호출 에너지를 캐싱으로 줄이려면 어떻게 해야 하나요?

어떻게 하나요?

LLM 호출 에너지를 캐싱으로 줄이려면 어떻게 해야 하나요?

업데이트 · 1분 분량

요약

두 계층을 사용하십시오. 제공업체의 프롬프트 캐싱은 긴 시스템 프롬프트나 공유 문서처럼 고정된 앞부분의 처리 결과를 재사용하므로, 변하지 않는 내용을 앞에 두십시오. 자체 응답 캐시는 동일한 요청에 대한 답을 저장해 모델을 다시 호출하지 않게 합니다. 적절한 만료 시간만 설정하면 둘 다 연산, 비용, 지연 시간을 줄입니다.

단계

  1. 지침과 참고 텍스트처럼 변하지 않는 내용을 모든 프롬프트의 맨 앞에 두십시오.
  2. 제공업체 문서에 설명된 대로 프롬프트 캐싱을 켜거나 표시하십시오.
  3. 동일한 입력에 대한 전체 응답을 자체 애플리케이션에 캐싱하십시오.
  4. 바탕이 되는 답이 바뀌는 빈도에 맞춰 만료 시간을 설정하십시오.
  5. 절감 효과를 볼 수 있도록 캐시 적중률과 입력 토큰을 기록하십시오.

가장 저렴한 모델 호출은 하지 않는 호출이고, 그다음으로 저렴한 호출은 이미 한 작업을 재사용하는 호출입니다. 캐싱은 두 가지를 모두 해냅니다.

프롬프트 캐싱이란 무엇인가요?

제공업체가 프롬프트 앞부분을 처리한 결과를 저장해 두었다가 이후 호출에서 재사용하는 것입니다. Anthropic 문서에 따르면 프롬프트 캐싱은 일관된 요소가 있는 프롬프트에서 "처리 시간과 비용을 크게 줄이며", 캐시 읽기는 일반 입력 토큰 가격의 10분의 1이고, 캐시는 기본적으로 5분간 유지됩니다. OpenAI는 지원 모델에서 프롬프트 캐싱을 기본으로 켜 둡니다. 둘 다 앞부분이 완전히 같을 때만 작동하므로 순서가 중요합니다. 변하지 않는 지침과 문서를 먼저, 바뀌는 질문을 마지막에 두십시오.

응답 캐싱이란 무엇인가요?

모델의 답을 저장해 두었다가 같은 요청이 다시 들어오면 그 답을 돌려주는 것입니다. 자주 묻는 질문, 반복되는 항목의 분류, 같은 질문을 되풀이하는 에이전트에 알맞습니다. 에이전트 오케스트레이션에 관한 Green Software Foundation의 패턴은 바로 이런 방식으로 불필요한 모델 호출과 반복 연산을 줄이라고 권합니다.

일부 팀은 완전히 같은 질문이 아니라 비슷한 질문을 짝짓는 "시맨틱" 캐시도 사용합니다. 더 많이 절약하지만 미묘하게 다른 질문에 틀린 답을 돌려줄 수 있으므로 신중하게 테스트하십시오.

흔한 실수

  • 프롬프트 맨 위에 타임스탬프나 사용자 이름을 넣는 것. 앞부분이 달라져 캐시가 깨집니다.
  • 영구적으로 캐싱하는 것. 답이 낡는 속도에 맞는 만료 시간을 설정하십시오.
  • 측정하지 않는 것. 적중률을 모르면 캐시가 도움이 되는지 알 수 없습니다.

다시 생성하기보다 재사용한다는 더 넓은 아이디어는 생성보다 오케스트레이션을 읽어 보십시오.

출처

  1. Prompt caching, Anthropic, Claude platform documentation (2026)
  2. Prompt caching, OpenAI API documentation (2026)
  3. Optimize agent orchestration to reduce unnecessary model calls, Green Software Foundation, Green Software Patterns (2025)

함께하기

AI가 지구에 미치는 영향을 함께 줄여 주세요

새 가이드, 지원 공모, 디렉터리 등록 소식을 한 달에 한 번 정도 이메일로 받아 보세요. 또는 제품, 강좌, 박사 과정, 연구를 디렉터리에 추가하세요.

추적하지 않습니다. 클릭 한 번으로 구독을 해지할 수 있습니다. 다른 참여 방법 · 개인정보 보호