greenai.guide

홈 › 어떻게 하나요? › 벡터 검색과 RAG를 더 효율적으로 만들려면 어떻게 해야 하나요?

어떻게 하나요?

벡터 검색과 RAG를 더 효율적으로 만들려면 어떻게 해야 하나요?

업데이트 · 1분 분량

요약

모든 질의를 저장된 모든 벡터와 비교하는 대신 근사 최근접 이웃 인덱스를 쓰고, 길고 많은 구절이 아니라 짧고 관련 있는 구절 몇 개만 검색하며, 바뀐 콘텐츠만 다시 임베딩하십시오. 그런 다음 좋은 맥락이 주어졌을 때 잘 답하는 가장 작은 생성 모델을 쓰십시오. 검색 시스템의 낭비는 대부분 무차별 대입 검색과 지나치게 큰 프롬프트에서 나옵니다.

단계

  1. 무차별 대입 벡터 비교를 근사 최근접 이웃 인덱스로 바꿉니다.
  2. 문서를 짧은 청크로 나누고 상위 몇 개만 검색합니다.
  3. 인덱스 전체를 다시 만들지 말고 새로 추가되거나 바뀐 콘텐츠만 다시 임베딩합니다.
  4. 답변당 입력 토큰을 기록하고 품질을 높이지 않는 맥락은 줄입니다.
  5. 검색 품질이 좋아지면 더 작은 생성 모델을 시험합니다.

검색은 모델이 더 많이가 아니라 더 적게 읽게 해야 합니다. 잘 만든 검색 증강 생성(RAG) 시스템은 관련 있는 구절 몇 개를 빠르게 찾아 그것만 모델에 넘깁니다.

RAG는 어디서 에너지를 낭비하나요?

  • 무차별 대입 검색. 질의를 저장된 모든 임베딩과 하나씩 비교하면 컬렉션 크기에 비례해 비용이 커집니다. Green Software Foundation은 대신 근사 최근접 이웃 인덱스를 권합니다.
  • 지나치게 큰 맥락. "만일을 위해" 긴 구절 20개를 검색하면 입력 토큰이 몇 배로 늘어납니다. Epoch AI는 약 0.3 Wh인 일반 질의가 10,000 토큰 입력에서는 약 2.5 Wh로 늘어난다고 추정합니다.
  • 전부 다시 만들기. 문서 몇 개만 바뀌었는데 매일 밤 문서 저장소 전체를 다시 임베딩하는 것입니다.

무엇이 가장 큰 차이를 만드나요?

모델에 필요한 맥락이 줄어들도록 검색을 개선하는 것입니다. 좋은 청크 분할, 재순위화(reranking) 단계, 메타데이터 필터(날짜, 부서, 제품)를 쓰면 짧은 구절 세 개가 긴 구절 열다섯 개의 일을 해낼 수 있습니다. 맥락이 좋아지면 더 작은 생성 모델도 대개 똑같이 잘 답합니다. 더 작은 AI 모델을 고르는 방법을 참고하십시오.

흔한 실수

  • 큰 임베딩 모델을 쓰는 것. 자기 데이터에서는 작은 모델도 똑같이 잘 검색할 수 있습니다. 둘 다 시험해 보십시오.
  • 평가 세트가 없는 것. 검색 품질(맞는 구절이 돌아왔는가?)을 답변 품질과 따로 측정하십시오.
  • 아무것도 캐시하지 않는 것. 자주 나오는 질문은 답변을 재사용할 수 있습니다. 캐싱을 활용하는 방법을 참고하십시오.

다시 생성하기보다 재사용한다는 더 큰 아이디어는 생성보다 오케스트레이션을 읽어 보십시오.

출처

  1. Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
  2. Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
  3. How much energy does ChatGPT use?, Epoch AI (2025)

함께하기

AI가 지구에 미치는 영향을 함께 줄여 주세요

새 가이드, 지원 공모, 디렉터리 등록 소식을 한 달에 한 번 정도 이메일로 받아 보세요. 또는 제품, 강좌, 박사 과정, 연구를 디렉터리에 추가하세요.

추적하지 않습니다. 클릭 한 번으로 구독을 해지할 수 있습니다. 다른 참여 방법 · 개인정보 보호