greenai.guide

홈 › 어떻게 하나요? › 추측 디코딩으로 대형 모델의 속도를 높이려면 어떻게 해야 하나요?

어떻게 하나요?

추측 디코딩으로 대형 모델의 속도를 높이려면 어떻게 해야 하나요?

업데이트 · 1분 분량

요약

대형 모델을 같은 계열의 작은 초안 모델과 짝지으십시오. 초안 모델이 토큰 여러 개를 제안하면 대형 모델이 한 번에 검증해 동의하는 것만 남깁니다. 출력은 대형 모델 혼자 만든 것과 같으며, 원래 연구는 추론이 2~3배 빨라졌다고 보고했습니다. 서빙 스택이 지원하는지 확인한 뒤, 속도만이 아니라 요청당 에너지를 측정하십시오.

단계

  1. 추론 라이브러리나 서빙 엔진이 추측 디코딩 또는 보조 디코딩을 지원하는지 확인하십시오.
  2. 대형 모델과 토크나이저를 공유하는 작은 초안 모델을 고르십시오.
  3. 기능을 켜고 자신의 작업에서 출력이 일치하는지 확인하십시오.
  4. 실제 배치 크기에서 요청당 에너지와 지연 시간을 측정하십시오.
  5. 지연 시간만이 아니라 요청당 에너지가 줄어들 때만 계속 쓰십시오.

추측은 작은 모델에 맡기고, 검증은 대형 모델에 맡기십시오. 대형 모델은 토큰을 한 번에 하나씩 생성하므로 단어마다 큰 하드웨어를 붙잡아 둡니다. 추측 디코딩을 쓰면 대형 모델이 토큰 여러 개를 한 번에 확인할 수 있습니다.

어떻게 작동하나요?

작은 초안 모델이 다음 토큰 몇 개를 빠르게 제안합니다. 그러면 대형 대상 모델이 한 번의 순전파로 이를 모두 확인하고, 자신이 만들었을 토큰을 받아들입니다. 동의하지 않는 지점에서는 자신의 토큰으로 바꾸고 초안 작성이 다시 시작됩니다. Leviathan, Kalman, Matias는 T5-XXL 모델에서 출력은 동일하게 유지하면서 2~3배 속도 향상을 보였습니다. Hugging Face 문서는 검증 단계가 같은 출력이 생성되도록 보장하므로 정확도 저하가 없다고 설명합니다.

변형으로는 프롬프트에 이미 있는 텍스트에서 초안을 만드는 프롬프트 조회 디코딩이 있으며, 답이 입력을 되풀이하는 편집이나 요약 같은 작업에 알맞습니다.

더 빠르면 더 친환경적인가요?

자동으로 그렇지는 않습니다. 이제 모델 두 개를 실행하고, 대형 모델은 추가 검증 작업을 합니다. 요청당 에너지가 줄어드는지는 초안이 얼마나 자주 받아들여지는지, 배치 크기, 하드웨어에 달려 있습니다. GreenCode 연구진은 llama.cpp에서 에너지와 속도가 다른 이야기를 할 수 있음을 발견했습니다. 한 변경은 속도는 3%만 높였지만 GPU 에너지를 4.7% 아꼈습니다. 에너지를 직접 측정하십시오.

흔한 실수

  • 초안 모델이 너무 커서 모든 것이 느려지는 것.
  • 초안 모델과 대상 모델의 토크나이저가 맞지 않는 것.
  • 실제 운영과 다른 작업으로 테스트하는 것. 수락률은 작업마다 다릅니다.

다른 서빙 기법은 모델 서빙의 에너지를 줄이는 방법과 효율적인 학습과 추론을 참고하십시오.

출처

  1. Fast inference from transformers via speculative decoding, Leviathan, Kalman and Matias, ICML 2023 (2022)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)

함께하기

AI가 지구에 미치는 영향을 함께 줄여 주세요

새 가이드, 지원 공모, 디렉터리 등록 소식을 한 달에 한 번 정도 이메일로 받아 보세요. 또는 제품, 강좌, 박사 과정, 연구를 디렉터리에 추가하세요.

추적하지 않습니다. 클릭 한 번으로 구독을 해지할 수 있습니다. 다른 참여 방법 · 개인정보 보호