简而言之
把您的大模型与同一系列的一个小型草稿模型配对:草稿模型提出若干个 token(词元),大模型在一次前向计算中核验它们,只保留认可的部分。输出与单独使用大模型时完全相同,原始研究报告的推理速度快 2 到 3 倍。请先确认您的推理服务栈支持这项技术,然后测量每次请求的能耗,而不只是速度。
步骤
- 确认您的推理库或推理服务引擎是否支持推测解码或辅助解码。
- 选择一个与大模型共用分词器的小型草稿模型。
- 开启它,并在您自己的工作负载上确认输出一致。
- 在真实的批大小下,测量每次请求的能耗和延迟。
- 只有当每次请求的能耗下降,而不只是延迟下降时,才保留它。
让小模型负责猜,让大模型负责核验。 大模型一次只生成一个 token(词元),每生成一个词都要占用大型硬件;推测解码让它们可以一次确认多个 token。
它是如何运作的?
一个小型草稿模型快速提出接下来的几个 token。随后,大型目标模型在一次前向计算中核验全部这些 token,并接受那些它自己也会生成的。遇到不一致时,它用自己的 token 替换,草稿生成随即继续。Leviathan、Kalman 和 Matias 在 T5-XXL 模型上实现了 2 到 3 倍的加速,且输出完全相同。Hugging Face 的文档指出,准确率不会下降,因为核验步骤保证了生成的输出相同。
变体包括提示查找解码(prompt lookup decoding),它从提示中已有的文字里生成草稿,适合编辑或总结这类回答会重复输入内容的任务。
更快就意味着更环保吗?
不一定。 您现在要运行两个模型,而且大模型还要做额外的核验工作。每次请求的能耗是否下降,取决于草稿被接受的频率、批大小和硬件。GreenCode 的研究人员在 llama.cpp 上发现,能耗和速度可能呈现不同的结果:有一项改动节省了 4.7% 的 GPU 能耗,而速度只提升了 3%。请直接测量能耗。
常见错误
- 草稿模型太大, 反而拖慢了整体速度。
- 草稿模型与目标模型的分词器不匹配。
- 在与生产环境不同的工作负载上测试; 接受率因任务而异。
关于其他推理服务技术,请参阅如何降低模型推理服务的能耗和高效训练与推理。
来源
- Fast inference from transformers via speculative decoding, Leviathan, Kalman and Matias, ICML 2023 (2022)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)