# 생성보다 오케스트레이션

> 검증된 구성 요소를 재사용하고 요청을 감당할 수 있는 가장 작은 모델로 보내면 왜 AI의 에너지 사용을 줄일 수 있는지, 지금까지의 근거를 살펴봅니다.

Source: https://greenai.guide/ko/기사/생성보다-오케스트레이션/  
Updated: 2026-11-19

## 요약

모든 답변, 코드 한 줄, 이미지를 대형 모델로 처음부터 생성하는 것은 AI를 쓰는 가장 비싼 방법입니다. 오케스트레이션은 AI를 계획과 선택에 쓰고, 결과는 테스트를 거친 구성 요소로 조립하며, 각 단계를 그 일을 해낼 수 있는 가장 저렴한 모델로 보냅니다. 가장 저렴한 토큰은 아예 생성하지 않는 토큰입니다.

## 핵심 내용

- 생성형 AI에서 비용이 큰 단계는 생성입니다. 이미 있는 테스트된 구성 요소를 고르고 재사용하는 편이 훨씬 저렴합니다.
- 라우팅은 각 요청을 처리할 수 있는 가장 작은 모델로 보내며, 공개된 라우터들은 품질 손실이 거의 없이 비용을 크게 줄였습니다.
- 검색(retrieval)은 문서나 코드베이스에서 관련된 부분만 제공하므로 모델이 읽는 토큰이 줄어듭니다.
- 검증된 구성 요소를 재사용하면 보안과 유지 보수에도 도움이 됩니다. 수정 한 번이 그 구성 요소가 쓰인 모든 곳에 적용됩니다.
- 라우팅에는 함정이 있습니다. 너무 작은 모델은 실패할 수 있고, 그러면 큰 모델로 비싼 재시도를 해야 합니다.

AI의 발자국에 관한 논의는 대부분 생성을 어떻게 더 저렴하게 할지를 묻습니다. 더 작은 모델, 더 빠른 칩, 더 깨끗한 전력이
그 답입니다. 다른 질문도 있습니다. 애초에 생성이 얼마나 필요한가 하는 질문입니다. 오케스트레이션은 생성을 기본값이
아니라 마지막 수단으로 다룸으로써 이 질문에 답합니다.

## "생성보다 오케스트레이션"이란 무슨 뜻인가요? {#what-does-orchestration-over-generation-mean}

**AI를 작업 계획과 부품 선택에 쓰고, 결과는 대부분 이미 존재하고 검증된 것들로 만든다는 뜻입니다.** 대형 모델에
새로운 것을 생성하라고 요청하는 것은 알맞은 것이 전혀 없을 때뿐입니다.

사람들이 생성형 AI에 요청하는 것의 상당 부분은 새로운 것이 아닙니다. 소프트웨어는 같은 패턴으로 가득합니다. 로그인
화면, 파일 업로드, 날짜 처리, 데이터 검증 같은 것입니다. 계약서는 표준 조항을 재사용합니다. 보고서는 표준 섹션을
재사용합니다. 이것들을 매번 새로 생성하면 에너지 비용이 되풀이되고, 하나하나 확인해야 하는 조금씩 다른 버전이
만들어집니다.

오케스트레이션된 시스템은 잘 운영되는 엔지니어링 팀처럼 일합니다.

1. 계획 담당이 작업에 무엇이 필요한지 파악합니다.
2. 저렴한 분류기나 검색이 들어맞는 기존의 테스트된 구성 요소를 찾습니다.
3. 정말 새로운 부분만, 그 일을 해낼 수 있는 가장 작은 모델이 생성합니다.
4. 새로 생성된 부분은 테스트를 거쳐 라이브러리에 추가되므로, 다음 요청에서 재사용할 수 있습니다.

라이브러리는 캐시처럼 작동합니다. 2026년 영국에서 수학자, 컴퓨터 과학자, 산업계가 모인 그린 AI 샌드핏(집중 토론
워크숍)은 "가장 저렴한 토큰은 아예 생성하지 않는 토큰"이라는 제목 아래 이 패턴을 논의했습니다.

## 재사용은 왜 에너지를 절약할까요? {#why-would-reuse-save-energy}

**구성 요소를 찾아 고쳐 쓰는 비용은 생성하는 비용의 극히 일부이고, 테스트된 구성 요소는 다시 손볼 일이 적기
때문입니다.** 토큰이, 따라서 추론 에너지의 대부분이 쓰이는 곳이 바로 생성입니다.

AI가 작성한 결과물의 에너지 비용은 결코 작지 않습니다. GreenCode 프로젝트의 파트너 논문인 킹스 칼리지 런던(King's
College London)의 연구(Cheung 외, 2025)는 프로그래밍 과제를 직접 손으로 푸는 것과 AI 어시스턴트로 푸는 것을
비교했습니다. 프로그래밍 대회 문제였던 과제들의 평균을 내면, AI 지원 코드 생성은 수작업 방식보다 탄소 발자국이
32.72배 컸고, 과제가 복잡해질수록 그 격차는 더 벌어졌습니다. 재사용은 바로 그 비용을 겨냥합니다.

에너지 외의 이점도 있습니다.

- **품질.** 검증된 구성 요소는 한 번 테스트되었으므로 여러 번 믿고 쓸 수 있습니다.
- **보안.** 구성 요소에 결함이 있는 것으로 밝혀지면, 그것이 쓰인 모든 곳을 알고 있으므로 수정 한 번으로 전부에
  적용할 수 있습니다.
- **유지 보수.** 공유 부품으로 만든 코드베이스는 거의 똑같은 중복으로 가득한 코드베이스보다 작고 이해하기 쉽습니다.

## 모델 라우팅이란 무엇인가요? {#what-is-model-routing}

**라우팅은 각 요청을 가장 알맞은 모델, 보통은 잘 답할 가능성이 높은 가장 작은 모델로 보냅니다.** 간단한 요청은
작고 저렴한 모델로 가고, 어려운 요청은 위로 올려 보냅니다.

공개된 연구가 그 잠재력을 보여 줍니다.

- **FrugalGPT**(Chen, Zaharia, Zou, 2023)는 저렴한 모델부터 비싼 모델까지 차례로 연결하고, 답이 충분히 좋다고
  판단되면 멈추게 했으며, 최대 98% 낮은 비용으로 GPT-4와 같은 성능을 냈다고 보고했습니다.
- **RouteLLM**(Ong 외, 2024)은 사람의 선호 데이터로 라우터를 훈련해 요청에 강력한 모델이 필요한 때를 판단하게 했으며,
  일부 경우 품질 손실 없이 비용을 절반 넘게 줄였다고 보고했습니다.
- **Hybrid LLM**(Ding 외, 2024)은 예측된 난이도에 따라 질의를 작은 모델과 큰 모델 사이에서 라우팅해, 응답 품질
  저하 없이 큰 모델 호출을 최대 40% 줄였습니다.

이 연구들은 에너지를 직접 재지 않고 비용을 측정하지만, 같은 제공업체와 하드웨어라면 대형 모델에서 토큰이 줄어드는
것은 대체로 에너지가 줄어든다는 뜻입니다. [알맞은 모델 고르기](/ko/모범-사례/작업에-맞는-모델-고르기/)를 참고하십시오.

## 검색(retrieval)이란 무엇이며, 왜 도움이 될까요? {#what-is-retrieval-and-why-does-it-help}

**검색은 관련 정보를 찾아 모델에 그것만 주는 것으로, 모델이 모든 것을 읽거나 기억해 내게 하지 않습니다.** 2020년
Lewis 외가 소개한 검색 증강 생성(RAG)은 검색 단계와 생성기를 결합합니다.

에너지 측면에서 핵심은 토큰 수입니다. 문서나 코드베이스 전체를 모델의 컨텍스트 창에 밀어 넣으면 요청할 때마다
에너지가 듭니다. 에너지 효율적인 소프트웨어에 관한 유럽(ITEA) 연구 프로젝트인 GreenCode는 작게 미세 조정된 모델,
감당할 수 있는 가장 작은 구성 요소로의 라우팅과 함께, 코드베이스 색인에서 검색하는 방식을 써서 "토큰 수가 저장소가
아니라 작업을 반영하도록" 합니다.

## GreenCode의 연구는 무엇을 보여 주나요? {#what-does-the-greencode-work-show}

**AI 사용 비용은 반드시 따져 봐야 하며, 에이전트가 어떻게 일하는지가 어떤 모델을 쓰는지만큼 중요하다는 것입니다.**
두 편의 파트너 논문이 이를 보여 줍니다.

- **EnergyBench**(Ionescu, Jensen, Thomsen, 2025)는 AI가 생성한 코드를 정확성과 실행할 때 쓰는 에너지 두 가지로
  평가합니다. 이 연구는 프롬프트 문구를 바꾸면 일부 경우 생성된 코드의 에너지 효율을 최대 91.9%까지 높일 수 있지만,
  정확성을 희생하는 경우가 많다는 것을 발견했습니다. 친환경 코드를 쓰라고 프롬프트하는 것만으로는 믿을 만한 해결책이
  되지 않습니다.
- **GreenCode Constitution**(Kapenekakis 외, 2026)은 코딩 에이전트에 정확성을 최우선으로, 그다음으로 37가지 에너지
  안티패턴을 담은 명문화된 원칙을 주고, 변경할 때마다 전후의 에너지를 측정하게 했습니다. 이미 고도로 최적화된 추론
  엔진인 llama.cpp에서 GPU 에너지를 4.7% 줄였습니다. 에너지 절감이 속도 향상보다 컸는데, 이는 더 빠른 것이 늘 더
  친환경적인 것은 아니므로 에너지를 직접 측정해야 한다는 점을 일깨워 줍니다.

GreenCode의 자체 파이프라인은 오케스트레이션 원칙을 적용합니다. 작은 작업 특화 모델, 검색, 라우팅을 우선하며,
추론 비용을 회수하지 못할 작업은 실행하지 않도록 사전 평가를 거칩니다.

## 무엇이 잘못될 수 있을까요? {#what-can-go-wrong}

**라우팅과 재사용은 잘 골랐을 때만 에너지를 절약합니다.** 주요 위험은 다음과 같습니다.

- **과소 배정.** 너무 작은 모델은 실패할 수 있고, 그러면 큰 모델로 재시도하는 비용이 처음부터 큰 모델로 가는 것보다
  더 큽니다. 실패 하나가 이후의 많은 단계를 틀어지게 할 수 있는 에이전트 시스템에서는 이것이 더 중요합니다. 기준값을
  정하는 것은 실제적인 설계 문제입니다.
- **낡은 라이브러리.** 구성 요소에는 담당자, 테스트, 업데이트가 필요합니다. 그렇지 않으면 재사용이 오래된 실수를
  퍼뜨립니다.
- **숨은 비용.** 분류기, 색인, 검색 단계도 모두 에너지를 씁니다. 대개 생성보다 훨씬 저렴하지만, 이것들도 측정해야
  합니다.
- **리바운드.** AI가 저렴해지면 AI를 더 많이 쓰게 됩니다. [효율은 충분성이 아니다](/ko/기사/효율은-충분성이-아닙니다-ai의-리바운드-효과/)를
  참고하십시오.

## 다음에 할 일 {#what-to-do-next}

- 생성하기 전에 검색하십시오. 테스트된 구성 요소, 템플릿, 이전 답변이 이미 있지 않습니까?
- 난이도에 따라 요청을 라우팅하십시오. 기본으로 작은 모델을 쓰고 필요할 때 올려 보내십시오.
  [AI를 효율적으로 쓰기](/ko/모범-사례/ai를-효율적으로-쓰기-일상-습관/)를 참고하십시오.
- 문서 전체를 붙여 넣지 말고 검색을 활용해 프롬프트를 짧게 유지하십시오.
- 테스트와 담당자를 갖춘 검증된 결과물 라이브러리를 유지하고, 작업하면서 계속 추가하십시오.
- 요청당이 아니라 재시도를 포함해 완료된 작업당 에너지나 토큰을 측정하십시오.
- 다단계 에이전트를 운영한다면 [에이전트 AI와 토큰 낭비](/ko/기사/에이전틱-ai와-토큰-낭비/)를 읽어 보십시오.

## 자주 묻는 질문

### AI에서 오케스트레이션이란 무엇인가요?

대형 모델 하나에 답 전체를 생성하게 하는 대신, 여러 모델, 도구, 저장된 구성 요소를 조율해 작업을 완수하는 것입니다. 계획 담당(planner)이 무엇이 필요한지 정하고, 더 저렴한 부분들이 대부분의 일을 합니다.

### 모델 라우팅이란 무엇인가요?

각 요청을 가장 알맞은 모델, 보통은 잘 답할 가능성이 높은 가장 작고 저렴한 모델로 보내고, 필요할 때만 더 큰 모델로 올려 보내는 것입니다.

### 라우팅을 하면 품질이 떨어지나요?

공개된 라우팅 시스템들은 가장 강력한 모델 품질의 대부분을 유지하면서 비용을 크게 줄였다고 보고합니다. 다만 결과는 작업에 따라, 그리고 라우터가 난이도를 얼마나 잘 판단하는지에 따라 달라집니다.

## 출처

- [FrugalGPT: how to use large language models while reducing cost and improving performance](https://arxiv.org/abs/2305.05176), Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- [RouteLLM: learning to route LLMs with preference data](https://arxiv.org/abs/2406.18665), Ong et al., ICLR 2025 (2024)
- [Hybrid LLM: cost-efficient and quality-aware query routing](https://arxiv.org/abs/2404.14618), Ding et al., ICLR (2024)
- [Retrieval-augmented generation for knowledge-intensive NLP tasks](https://arxiv.org/abs/2005.11401), Lewis et al., NeurIPS (2020)
- [Green optimised generative AI](https://greencode.ai/feature/green-optimised-generative-ai/), GreenCode (2026)
- [Green AI and energy-aware computing](https://greencode.ai/benefit/green-ai-and-energy-aware-computing/), GreenCode (2026)
- [Comparative analysis of carbon footprint in manual vs. LLM-assisted code development](https://doi.org/10.1145/3711919.3728678), Cheung, Kaul, Jahangirova, Mousavi and Zie, ResponsibleSE 2025 (ACM) (2025)
- [EnergyBench: holistic benchmark for correct and energy-efficient LLM-generated code](https://doi.org/10.1109/flta67013.2025.11336593), Ionescu, Jensen and Thomsen, FLTA 2025 (2025)
- [GreenCode Constitution: agent principles for optimizing code and LLM inference energy use](https://greencode.ai/publications/greencode-constitution-agent-principles-for-optimizing-code-and-llm-inference-en/), Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
