# 벡터 검색과 RAG를 더 효율적으로 만들려면 어떻게 해야 하나요?

> 검색 증강 생성(RAG)의 연산을 줄이는 방법입니다. 근사 인덱스, 더 적고 짧은 구절, 증분 인덱싱, 더 작은 모델을 활용합니다.

Source: https://greenai.guide/ko/방법/벡터-검색과-rag를-더-효율적으로-만들려면-어떻게-해야-하나요/  
Updated: 2026-11-19

## 요약

모든 질의를 저장된 모든 벡터와 비교하는 대신 근사 최근접 이웃 인덱스를 쓰고, 길고 많은 구절이 아니라 짧고 관련 있는 구절 몇 개만 검색하며, 바뀐 콘텐츠만 다시 임베딩하십시오. 그런 다음 좋은 맥락이 주어졌을 때 잘 답하는 가장 작은 생성 모델을 쓰십시오. 검색 시스템의 낭비는 대부분 무차별 대입 검색과 지나치게 큰 프롬프트에서 나옵니다.

## Steps

1. 무차별 대입 벡터 비교를 근사 최근접 이웃 인덱스로 바꿉니다.
2. 문서를 짧은 청크로 나누고 상위 몇 개만 검색합니다.
3. 인덱스 전체를 다시 만들지 말고 새로 추가되거나 바뀐 콘텐츠만 다시 임베딩합니다.
4. 답변당 입력 토큰을 기록하고 품질을 높이지 않는 맥락은 줄입니다.
5. 검색 품질이 좋아지면 더 작은 생성 모델을 시험합니다.

**검색은 모델이 더 많이가 아니라 더 적게 읽게 해야 합니다.** 잘 만든 검색 증강 생성(RAG) 시스템은 관련 있는 구절 몇 개를 빠르게 찾아 그것만 모델에 넘깁니다.

## RAG는 어디서 에너지를 낭비하나요? {#where-does-rag-waste-energy}

- **무차별 대입 검색.** 질의를 저장된 모든 임베딩과 하나씩 비교하면 컬렉션 크기에 비례해 비용이 커집니다. Green Software Foundation은 대신 근사 최근접 이웃 인덱스를 권합니다.
- **지나치게 큰 맥락.** "만일을 위해" 긴 구절 20개를 검색하면 입력 토큰이 몇 배로 늘어납니다. Epoch AI는 약 0.3 Wh인 일반 질의가 10,000 토큰 입력에서는 약 2.5 Wh로 늘어난다고 추정합니다.
- **전부 다시 만들기.** 문서 몇 개만 바뀌었는데 매일 밤 문서 저장소 전체를 다시 임베딩하는 것입니다.

## 무엇이 가장 큰 차이를 만드나요? {#what-makes-the-biggest-difference}

**모델에 필요한 맥락이 줄어들도록 검색을 개선하는 것입니다.** 좋은 청크 분할, 재순위화(reranking) 단계, 메타데이터 필터(날짜, 부서, 제품)를 쓰면 짧은 구절 세 개가 긴 구절 열다섯 개의 일을 해낼 수 있습니다. 맥락이 좋아지면 더 작은 생성 모델도 대개 똑같이 잘 답합니다. [더 작은 AI 모델을 고르는 방법](/ko/방법/더-작은-ai-모델은-어떻게-골라야-하나요/)을 참고하십시오.

## 흔한 실수 {#common-mistakes}

- **큰 임베딩 모델을 쓰는 것.** 자기 데이터에서는 작은 모델도 똑같이 잘 검색할 수 있습니다. 둘 다 시험해 보십시오.
- **평가 세트가 없는 것.** 검색 품질(맞는 구절이 돌아왔는가?)을 답변 품질과 따로 측정하십시오.
- **아무것도 캐시하지 않는 것.** 자주 나오는 질문은 답변을 재사용할 수 있습니다. [캐싱을 활용하는 방법](/ko/방법/llm-호출-에너지를-캐싱으로-줄이려면-어떻게-해야-하나요/)을 참고하십시오.

다시 생성하기보다 재사용한다는 더 큰 아이디어는 [생성보다 오케스트레이션](/ko/기사/생성보다-오케스트레이션/)을 읽어 보십시오.

## 출처

- [Green Software Patterns: optimise data storage formats for AI training and inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/data-handling/optimize-data-storage-ai-training.md), Green Software Foundation (2025)
- [Retrieval-augmented generation for knowledge-intensive NLP tasks](https://arxiv.org/abs/2005.11401), Lewis et al., NeurIPS (2020)
- [How much energy does ChatGPT use?](https://epoch.ai/gradient-updates/how-much-energy-does-chatgpt-use), Epoch AI (2025)
