요약
모든 질의를 저장된 모든 벡터와 비교하는 대신 근사 최근접 이웃 인덱스를 쓰고, 길고 많은 구절이 아니라 짧고 관련 있는 구절 몇 개만 검색하며, 바뀐 콘텐츠만 다시 임베딩하십시오. 그런 다음 좋은 맥락이 주어졌을 때 잘 답하는 가장 작은 생성 모델을 쓰십시오. 검색 시스템의 낭비는 대부분 무차별 대입 검색과 지나치게 큰 프롬프트에서 나옵니다.
단계
- 무차별 대입 벡터 비교를 근사 최근접 이웃 인덱스로 바꿉니다.
- 문서를 짧은 청크로 나누고 상위 몇 개만 검색합니다.
- 인덱스 전체를 다시 만들지 말고 새로 추가되거나 바뀐 콘텐츠만 다시 임베딩합니다.
- 답변당 입력 토큰을 기록하고 품질을 높이지 않는 맥락은 줄입니다.
- 검색 품질이 좋아지면 더 작은 생성 모델을 시험합니다.
검색은 모델이 더 많이가 아니라 더 적게 읽게 해야 합니다. 잘 만든 검색 증강 생성(RAG) 시스템은 관련 있는 구절 몇 개를 빠르게 찾아 그것만 모델에 넘깁니다.
RAG는 어디서 에너지를 낭비하나요?
- 무차별 대입 검색. 질의를 저장된 모든 임베딩과 하나씩 비교하면 컬렉션 크기에 비례해 비용이 커집니다. Green Software Foundation은 대신 근사 최근접 이웃 인덱스를 권합니다.
- 지나치게 큰 맥락. "만일을 위해" 긴 구절 20개를 검색하면 입력 토큰이 몇 배로 늘어납니다. Epoch AI는 약 0.3 Wh인 일반 질의가 10,000 토큰 입력에서는 약 2.5 Wh로 늘어난다고 추정합니다.
- 전부 다시 만들기. 문서 몇 개만 바뀌었는데 매일 밤 문서 저장소 전체를 다시 임베딩하는 것입니다.
무엇이 가장 큰 차이를 만드나요?
모델에 필요한 맥락이 줄어들도록 검색을 개선하는 것입니다. 좋은 청크 분할, 재순위화(reranking) 단계, 메타데이터 필터(날짜, 부서, 제품)를 쓰면 짧은 구절 세 개가 긴 구절 열다섯 개의 일을 해낼 수 있습니다. 맥락이 좋아지면 더 작은 생성 모델도 대개 똑같이 잘 답합니다. 더 작은 AI 모델을 고르는 방법을 참고하십시오.
흔한 실수
- 큰 임베딩 모델을 쓰는 것. 자기 데이터에서는 작은 모델도 똑같이 잘 검색할 수 있습니다. 둘 다 시험해 보십시오.
- 평가 세트가 없는 것. 검색 품질(맞는 구절이 돌아왔는가?)을 답변 품질과 따로 측정하십시오.
- 아무것도 캐시하지 않는 것. 자주 나오는 질문은 답변을 재사용할 수 있습니다. 캐싱을 활용하는 방법을 참고하십시오.
다시 생성하기보다 재사용한다는 더 큰 아이디어는 생성보다 오케스트레이션을 읽어 보십시오.
출처
- Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- How much energy does ChatGPT use?, Epoch AI (2025)
관련 내용
에너지를 아끼려면 RAG와 파인튜닝 중 무엇을 골라야 하나요?
바뀌는 사실에는 검색 증강(RAG), 기술과 문체에는 파인튜닝을 쓰는 이유와, 둘을 혼동하면 에너지가 낭비되는 이유를 설명합니다.
챗봇이 대화 전체를 매번 다시 보내지 않게 하려면 어떻게 해야 하나요?
챗봇 맥락을 작게 유지하는 법: 이전 턴 수 제한, 오래된 메시지 요약, 관련 내용만 검색, 고정 프롬프트 캐싱으로 입력 증가를 막습니다.
생성보다 오케스트레이션
검증된 구성 요소를 재사용하고 요청을 감당할 수 있는 가장 작은 모델로 보내면 왜 AI의 에너지 사용을 줄일 수 있는지, 지금까지의 근거를 살펴봅니다.
파이프라인이 덜 읽도록 AI 학습 데이터를 저장하려면 어떻게 해야 하나요?
열 기반·바이너리 형식, 파티셔닝, 한 번만 하는 전처리로 AI 파이프라인이 학습 데이터를 읽고 파싱하는 데 쓰는 에너지를 줄이는 방법입니다.