greenai.guide

홈 › 어떻게 하나요? › 에너지를 아끼려면 RAG와 파인튜닝 중 무엇을 골라야 하나요?

어떻게 하나요?

에너지를 아끼려면 RAG와 파인튜닝 중 무엇을 골라야 하나요?

업데이트 · 1분 분량

요약

모델에 바뀌거나 나에게만 해당하는 사실이 필요하면 검색을 쓰십시오. 사실을 검색 가능한 색인에 넣고 관련 구절만 가져오면 됩니다. 모델에 없는 기술, 형식, 문체가 필요하면 파인튜닝을 쓰십시오. 사실을 최신으로 유지하려고 재학습하면 학습 비용이 반복되고, 모든 프롬프트에 문서 전체를 붙여 넣으면 추론이 낭비되므로, 각 방법에는 알맞은 자리가 있습니다.

단계

  1. 모델에 부족한 것이 사실인지, 기술인지, 형식인지, 어조인지 나열하십시오.
  2. 바뀌거나 비공개인 사실은 검색 가능한 색인에 넣고 관련 구절만 검색하십시오.
  3. 프롬프트로는 해결할 수 없는 기술, 형식, 문체에 한해서만 작은 어댑터를 파인튜닝하십시오.
  4. 내용이 바뀌면 바뀐 부분만 처리해 색인을 업데이트하십시오.
  5. 결정하기 전에 각 방법의 요청당 토큰과 품질을 측정하십시오.

사실은 검색하고, 기술은 파인튜닝하십시오. 잘못 고르면 재학습이든 지나치게 큰 프롬프트든 비용을 거듭 치르게 됩니다.

무엇이 다른가요?

  • 검색 증강 생성(RAG) 은 자체 콘텐츠에서 관련 구절을 찾아 질문과 함께 모델에 줍니다. Lewis와 동료들이 2020년에 지식 집약적 작업을 위해 이 방법을 소개했습니다. 모델의 가중치는 바뀌지 않으므로, 지식을 업데이트하려면 색인을 업데이트하면 됩니다.
  • 파인튜닝은 모델의 가중치나 LoRA 같은 작은 어댑터를 바꿔 형식, 분류 체계, 사내 문체 같은 동작을 학습시킵니다.

어느 쪽이 에너지를 덜 쓰나요?

얼마나 자주 바뀌는지, 요청마다 텍스트를 얼마나 싣는지에 따라 다릅니다.

상황 대체로 더 나은 쪽
사실이 매주 또는 매달 바뀜 검색
비공개 문서, 정책, 제품 데이터 검색
고정된 출력 형식이나 라벨링 체계 작은 모델 파인튜닝
매우 많은 요청량, 좁은 작업 프롬프트를 짧게 할 수 있는 파인튜닝

ITEA 연구 프로젝트인 GreenCode는 자체 AI가 필요한 데이터만 읽도록 검색을 사용하고, 실행 사이에 바뀐 부분만 처리한다고 설명합니다.

흔한 실수

  • 사실을 추가하려고 재학습하는 것. 업데이트할 때마다 학습 비용이 반복됩니다.
  • "프롬프트에 전부 밀어 넣는" RAG. 두 개면 충분한데 긴 구절 스무 개를 검색하면 입력 토큰이 몇 배로 늘어납니다. 벡터 검색과 RAG를 더 효율적으로 만드는 방법을 참고하십시오.
  • 작은 모델을 파인튜닝해도 될 때 큰 모델을 파인튜닝하는 것.

더 넓은 원칙은 생성보다 오케스트레이션을 읽어 보십시오.

출처

  1. Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
  2. Green AI and energy-aware computing, GreenCode (2026)
  3. LoRA: low-rank adaptation of large language models, Hu et al. (2021)

함께하기

AI가 지구에 미치는 영향을 함께 줄여 주세요

새 가이드, 지원 공모, 디렉터리 등록 소식을 한 달에 한 번 정도 이메일로 받아 보세요. 또는 제품, 강좌, 박사 과정, 연구를 디렉터리에 추가하세요.

추적하지 않습니다. 클릭 한 번으로 구독을 해지할 수 있습니다. 다른 참여 방법 · 개인정보 보호