greenai.guide

首页 › 我该如何……? › 如何用推测解码加快大模型的速度?

我该如何……?

如何用推测解码加快大模型的速度?

更新于 · 阅读约需 1 分钟

简而言之

把您的大模型与同一系列的一个小型草稿模型配对:草稿模型提出若干个 token(词元),大模型在一次前向计算中核验它们,只保留认可的部分。输出与单独使用大模型时完全相同,原始研究报告的推理速度快 2 到 3 倍。请先确认您的推理服务栈支持这项技术,然后测量每次请求的能耗,而不只是速度。

步骤

  1. 确认您的推理库或推理服务引擎是否支持推测解码或辅助解码。
  2. 选择一个与大模型共用分词器的小型草稿模型。
  3. 开启它,并在您自己的工作负载上确认输出一致。
  4. 在真实的批大小下,测量每次请求的能耗和延迟。
  5. 只有当每次请求的能耗下降,而不只是延迟下降时,才保留它。

让小模型负责猜,让大模型负责核验。 大模型一次只生成一个 token(词元),每生成一个词都要占用大型硬件;推测解码让它们可以一次确认多个 token。

它是如何运作的?

一个小型草稿模型快速提出接下来的几个 token。随后,大型目标模型在一次前向计算中核验全部这些 token,并接受那些它自己也会生成的。遇到不一致时,它用自己的 token 替换,草稿生成随即继续。Leviathan、Kalman 和 Matias 在 T5-XXL 模型上实现了 2 到 3 倍的加速,且输出完全相同。Hugging Face 的文档指出,准确率不会下降,因为核验步骤保证了生成的输出相同。

变体包括提示查找解码(prompt lookup decoding),它从提示中已有的文字里生成草稿,适合编辑或总结这类回答会重复输入内容的任务。

更快就意味着更环保吗?

不一定。 您现在要运行两个模型,而且大模型还要做额外的核验工作。每次请求的能耗是否下降,取决于草稿被接受的频率、批大小和硬件。GreenCode 的研究人员在 llama.cpp 上发现,能耗和速度可能呈现不同的结果:有一项改动节省了 4.7% 的 GPU 能耗,而速度只提升了 3%。请直接测量能耗。

常见错误

  • 草稿模型太大, 反而拖慢了整体速度。
  • 草稿模型与目标模型的分词器不匹配。
  • 在与生产环境不同的工作负载上测试; 接受率因任务而异。

关于其他推理服务技术,请参阅如何降低模型推理服务的能耗和高效训练与推理。

来源

  1. Fast inference from transformers via speculative decoding, Leviathan, Kalman and Matias, ICML 2023 (2022)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私