요약
AI 에이전트는 모델과 도구를 거듭 호출하며 여러 단계로 작업을 수행하므로, 요청 하나가 채팅보다 몇 배나 많은 토큰을 쓸 수 있습니다. 멀티 에이전트 시스템은 이를 더욱 늘리며, 에이전트가 루프에 빠지거나 서로 엇갈린 말을 주고받으면 토큰은 낭비됩니다. 예산, 단계 제한, 루프 감지, 알맞은 규모의 모델을 쓰면 에너지를 헛되이 태우지 않으면서 에이전트를 유용하게 유지할 수 있습니다.
핵심 내용
- 에이전트는 작업 하나에 모델을 여러 번 호출하므로, 토큰 사용량과 에너지 사용량이 채팅 한 번의 몇 배가 될 수 있습니다.
- 멀티 에이전트 시스템은 토큰 사용량을 다시 몇 배로 늘리며, 이는 그만큼 가치 있고 복잡한 작업에서만 값어치를 합니다.
- 에이전트는 루프에 갇히거나 같은 일을 되풀이해, 진척 없이 토큰을 소비할 수 있습니다.
- 단계, 토큰, 시간, 비용에 대한 엄격한 한도와, 멈춘 실행을 중단시킬 수 있는 모니터링이 기본 안전장치입니다.
- 알맞은 규모란 작업이 허용할 때 단일 에이전트, 작은 모델, 또는 아예 에이전트 없이 처리하는 것을 뜻합니다.
AI 에이전트는 어떤 도구를 호출하고 다음에 무엇을 할지 고르며 여러 단계에 걸쳐 목표를 향해 일하는 시스템입니다. 예약하고, 검색하고, 코드를 작성하고, 테스트하고, 다시 시도할 수 있습니다. 이런 자율성은 유용하지만, 단계마다 모델을 한 번 더 호출하게 되고, 그 비용은 채팅 한 번과는 다른 방식으로 쌓입니다.
에이전트는 왜 비용이 많이 들까요?
에이전트는 작업 하나에 모델을 여러 번 호출하며, 호출할 때마다 대개 지금까지 길어진 작업 기록을 함께 보냅니다. 토큰 사용량, 따라서 에너지 사용량은 단계, 도구 호출, 재시도가 있을 때마다 늘어납니다.
토큰은 모델이 읽거나 쓰는 텍스트 조각으로, 대략 단어의 일부에 해당합니다. 처리하는 토큰마다 계산 비용이 듭니다. 채팅에서는 질문 하나가 답 하나를 낳습니다. 에이전트에서는 요청 하나가 계획, 검색, 결과 읽기, 작성, 점검, 수정 등 수십 번의 모델 호출을 일으킬 수 있습니다.
Anthropic은 2025년 멀티 에이전트 연구 시스템 구축 경험을 소개하며 이를 설명했습니다. 에이전트는 보통 채팅 상호작용보다 약 4배, 멀티 에이전트 시스템은 약 15배 많은 토큰을 썼다고 보고했습니다. 또한 자사의 브라우징 벤치마크에서는 토큰 사용량 하나만으로 성능 편차의 80%가 설명된다는 것을 발견했습니다. 즉, 시스템이 더 좋은 성과를 낸 것은 주로 더 많이 썼기 때문이었습니다.
어렵고 가치 있는 작업이라면 공정한 거래입니다. 단순한 작업이라면 낭비입니다.
에이전트의 에너지 사용에 관한 증거가 있나요?
초기 연구도 같은 방향을 가리킵니다. Kim, Shin, Chung, Rhu(2025)는 데이터 센터 인프라의 관점에서 에이전틱 다중 턴 워크플로와 단일 턴 추론을 비교했습니다. 그 결과 에이전트가 상당히 더 많은 에너지를 썼고, 계산을 더 쓸수록 정확도 향상은 수확 체감을 보였으며, 이런 방식으로 에이전트를 확장하는 인프라 비용은 지속 불가능해질 수 있다는 것을 발견했습니다.
실제 배포 환경에서 측정한 수치는 아직 드뭅니다. 제공업체가 거의 공개하지 않기 때문입니다. 측정이 병목이다를 참고하십시오.
에이전트는 어떻게 토큰을 낭비할까요?
작업을 진척시키지 않는 일을 함으로써입니다. 흔한 유형은 다음과 같습니다.
- 루프. 에이전트가 같은 동작을 되풀이하거나, 두 에이전트가 문제를 계속 서로에게 떠넘깁니다.
- 과잉 점검. 간단한 테스트로 충분한 곳에서도 모든 단계를 또 다른 모델 호출로 검토합니다.
- 컨텍스트 비대화. 문서 전체, 로그, 도구 출력이 이후의 모든 단계에 그대로 실려 갑니다.
- 재시도 폭주. 실패 하나가 반복적인 재시도를 부르고, 때로는 점점 더 큰 모델로 재시도합니다.
- 과잉 위임. 에이전트 하나로 충분했을 작업을 여러 에이전트에 나눕니다.
Cemri와 동료들(2025)은 7개 멀티 에이전트 프레임워크에서 나온 1,600개가 넘는 주석 달린 실행 기록을 분석해, 이런 시스템이 실패하는 14가지 방식을 찾아내고 세 범주로 묶었습니다. 시스템과 작업의 명세 문제, 에이전트 간 정렬 불일치, 작업 검증 실패입니다. 각 실패 유형은 결과 없이 토큰을 쓰는 방식이기도 합니다.
2026년 영국에서 수학자, 컴퓨터 과학자, 산업계가 모인 그린 AI 샌드핏(집중 토론 워크숍)에서도 같은 문제를 논의했습니다. 에이전트 무리는 스스로 갇혀 서로에게 무의미한 출력을 보내며 수십만 개의 토큰을 태울 수 있습니다. 이 자리에서 제기된 열린 연구 질문은 에이전트 집단이 멈춰 있다는 것을 수학적으로, 그리고 일찍 감지해 누군가 또는 무언가가 이를 멈출 수 있게 하는 방법입니다.
이것은 환경뿐 아니라 사업적으로도 중요한가요?
그렇습니다. 비용과 에너지는 함께 오릅니다. Gartner는 2025년 6월, 늘어나는 비용, 불분명한 사업 가치, 부적절한 위험 통제 때문에 에이전틱 AI 프로젝트의 40% 이상이 2027년 말까지 취소될 것이라고 예측했습니다. 토큰 낭비는 그중 첫 번째 원인에 직접 기여합니다.
어떤 안전장치가 에이전트를 통제할까요?
엄격한 한도, 모니터링, 그리고 멈추는 방법입니다. 이는 기본적인 엔지니어링 통제이며, 대부분의 에이전트 프레임워크가 그중 일부를 지원합니다.
| 안전장치 | 하는 일 |
|---|---|
| 단계 제한 | 한 번의 실행에서 모델 호출 횟수에 상한을 둡니다. 예를 들어 OpenAI Agents SDK에는 이를 넘으면 실행을 멈추는 max_turns 설정이 있습니다. |
| 토큰 또는 비용 예산 | 실행이 정해진 비용을 넘으면 멈추거나 상위로 넘깁니다. |
| 시간 제한 | 예상보다 훨씬 오래 걸리는 실행을 끝냅니다. |
| 루프 감지 | 반복 동작이나 에이전트 간 거의 같은 메시지를 표시합니다. |
| 외부 관찰자 | 진행 상황을 지켜보다가 실행을 멈출 수 있는 별도의 저렴한 프로세스나 사람, 즉 "빨간 버튼"입니다. |
| 컨텍스트 정리 | 오래된 기록을 요약하거나 버려 호출마다 읽는 토큰을 줄입니다. |
한도는 안전하게 실패해야 합니다. 예산이 바닥나면 에이전트는 조용히 재시도하지 말고 멈춰서 가진 결과를 보고해야 합니다.
에이전트를 알맞은 규모로 만든다는 것은 무슨 뜻일까요?
일을 해낼 수 있는 가장 단순한 시스템을 쓰는 것입니다. 멀티 에이전트 시스템을 만들기 전에 다음 목록을 위에서부터 차례로 따져 보십시오.
- 에이전트 없음. 고정된 스크립트, 검색, 또는 모델 호출 한 번으로 할 수 있나요?
- 도구를 쓰는 호출 한 번. 도구를 쓸 수 있는, 프롬프트를 잘 작성한 모델 호출 한 번으로 충분한 경우가 많습니다.
- 에이전트 하나. 단계 제한을 둔 단일 에이전트입니다.
- 여러 에이전트. 범위가 넓고, 가치 있고, 진정으로 병렬적인 작업에만 씁니다.
어느 경우든 분류, 추출, 서식 지정 같은 간단한 하위 작업에는 작은 모델을 쓰고, 어려운 추론에는 큰 모델을 남겨 두십시오. 다만 함정이 있습니다. 너무 작은 모델은 실패해서 더 큰 모델로 다시 실행해야 할 수 있고, 긴 연쇄에서는 실패 하나가 이후 단계를 망칠 수 있습니다. 그 기준을 정하는 것은 시험해 볼 가치가 있는 설계 결정입니다. 알맞은 모델 고르기와 생성보다 오케스트레이션을 참고하십시오.
다음에 할 일
- 운영하는 모든 에이전트에 대해 재시도와 실패한 실행을 포함해 완료된 작업당 토큰을 기록하십시오.
- 모든 에이전트에 운영 투입 전에 단계, 토큰, 시간, 비용 한도를 설정하십시오.
- 루프 감지와 사람이 실행을 멈출 수 있는 방법을 추가하십시오.
- 작동하는 가장 단순한 설계로 시작하고, 작업에 필요할 때만 에이전트를 추가하십시오.
- 간단한 하위 작업은 작은 모델로 보내십시오. AI를 효율적으로 쓰기를 참고하십시오.
- 에이전틱 도구를 구매한다면 공급업체에 토큰 사용을 어떻게 제한하고 보고하는지 물어보십시오. 지속 가능한 AI 조달을 참고하십시오.
자주 묻는 질문
에이전틱 AI란 무엇인가요?
프롬프트 하나에 답하는 대신, 어떤 도구를 호출하고 다음에 무엇을 할지 스스로 정하며 여러 단계에 걸쳐 목표를 추구하는 AI 시스템입니다. 작업 하나에 언어 모델을 여러 번 호출하는 경우가 많습니다.
AI 에이전트는 왜 그렇게 많은 토큰을 쓰나요?
단계마다 점점 길어지는 작업 기록을 모델에 다시 보내고, 에이전트가 도구를 호출하고 자기 작업을 점검하고 재시도할 수 있기 때문입니다. 멀티 에이전트 시스템은 에이전트끼리 메시지도 주고받는데, 메시지마다 토큰이 듭니다.
AI 에이전트가 토큰을 낭비하지 않게 하려면 어떻게 해야 하나요?
단계 수, 토큰, 시간, 비용에 한도를 두고, 루프와 반복 동작을 감지하고, 간단한 하위 작업에는 작은 모델을 쓰며, 사람이 실행을 멈출 수 있도록 하십시오.
출처
- How we built our multi-agent research system, Anthropic (2025)
- Why do multi-agent LLM systems fail?, Cemri et al. (2025)
- The cost of dynamic reasoning: demystifying AI agents and test-time scaling from an AI infrastructure perspective, Kim, Shin, Chung and Rhu, HPCA 2026 (2025)
- Gartner predicts over 40% of agentic AI projects will be canceled by end of 2027, Gartner (2025)
- Running agents (max_turns), OpenAI Agents SDK documentation (2025)
관련 내용
생성보다 오케스트레이션
검증된 구성 요소를 재사용하고 요청을 감당할 수 있는 가장 작은 모델로 보내면 왜 AI의 에너지 사용을 줄일 수 있는지, 지금까지의 근거를 살펴봅니다.
AI를 효율적으로 쓰기: 일상 습관
AI 사용 에너지를 줄이는 일상 습관을 소개합니다. 명확한 프롬프트, 재생성 반복 줄이기, 이미지와 동영상 절제, 캐싱, 기본 기능 끄기를 다룹니다.
작업에 맞는 모델 고르기
AI 규모를 알맞게 맞추는 법: 작거나 특화된 모델을 쓸 때, 프런티어 모델이 비용값을 할 때, 라우팅의 원리, AI를 쓰지 말아야 할 때를 설명합니다.
측정이 그린 AI의 병목입니다
AI 에너지 수치를 믿고 비교하기 어려운 이유를 설명합니다. 자체 보고 수치, 측정 아닌 추정, 서로 다른 경계, 그리고 좋은 측정의 모습을 다룹니다.