# 如何用推测解码加快大模型的速度？

> 推测解码如何让一个小型草稿模型提出 token、再由大模型核验，从而在输出完全相同的情况下更快地给出回答。

Source: https://greenai.guide/zh/如何/如何用推测解码加快大模型的速度/  
Updated: 2026-11-19

## 简而言之

把您的大模型与同一系列的一个小型草稿模型配对：草稿模型提出若干个 token（词元），大模型在一次前向计算中核验它们，只保留认可的部分。输出与单独使用大模型时完全相同，原始研究报告的推理速度快 2 到 3 倍。请先确认您的推理服务栈支持这项技术，然后测量每次请求的能耗，而不只是速度。

## Steps

1. 确认您的推理库或推理服务引擎是否支持推测解码或辅助解码。
2. 选择一个与大模型共用分词器的小型草稿模型。
3. 开启它，并在您自己的工作负载上确认输出一致。
4. 在真实的批大小下，测量每次请求的能耗和延迟。
5. 只有当每次请求的能耗下降，而不只是延迟下降时，才保留它。

**让小模型负责猜，让大模型负责核验。** 大模型一次只生成一个 token（词元），每生成一个词都要占用大型硬件；推测解码让它们可以一次确认多个 token。

## 它是如何运作的？ {#how-does-it-work}

一个小型**草稿模型**快速提出接下来的几个 token。随后，大型**目标模型**在一次前向计算中核验全部这些 token，并接受那些它自己也会生成的。遇到不一致时，它用自己的 token 替换，草稿生成随即继续。Leviathan、Kalman 和 Matias 在 T5-XXL 模型上实现了 2 到 3 倍的加速，且输出完全相同。Hugging Face 的文档指出，准确率不会下降，因为核验步骤保证了生成的输出相同。

变体包括提示查找解码（prompt lookup decoding），它从提示中已有的文字里生成草稿，适合编辑或总结这类回答会重复输入内容的任务。

## 更快就意味着更环保吗？ {#does-faster-mean-greener}

**不一定。** 您现在要运行两个模型，而且大模型还要做额外的核验工作。每次请求的能耗是否下降，取决于草稿被接受的频率、批大小和硬件。GreenCode 的研究人员在 llama.cpp 上发现，能耗和速度可能呈现不同的结果：有一项改动节省了 4.7% 的 GPU 能耗，而速度只提升了 3%。请直接测量能耗。

## 常见错误 {#common-mistakes}

- **草稿模型太大，** 反而拖慢了整体速度。
- **草稿模型与目标模型的分词器不匹配。**
- **在与生产环境不同的工作负载上测试；** 接受率因任务而异。

关于其他推理服务技术，请参阅[如何降低模型推理服务的能耗](/zh/如何/如何降低生产环境中模型服务的能耗/)和[高效训练与推理](/zh/良好实践/高效的-ai-训练与推理/)。

## 来源

- [Fast inference from transformers via speculative decoding](https://arxiv.org/abs/2211.17192), Leviathan, Kalman and Matias, ICML 2023 (2022)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [GreenCode Constitution: agent principles for optimizing code and LLM inference energy use](https://greencode.ai/publications/greencode-constitution-agent-principles-for-optimizing-code-and-llm-inference-en/), Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
