greenai.guide

首页 › 我该如何……? › 如何限制大语言模型的输出长度?

我该如何……?

如何限制大语言模型的输出长度?

更新于 · 阅读约需 1 分钟

简而言之

在 API 调用中设置最大输出长度,在提示中告诉模型您需要的格式和长度,并使用停止序列或结构化输出,让它在任务完成时就停下。能耗随模型生成的 token(词元)数量增长,因此限制输出是任何应用中最简单的节能方法之一。

步骤

  1. 为每项功能确定最长的有用回答,并据此设置 API 的最大输出 token 数。
  2. 在提示中说明格式和长度,例如“三个要点”。
  3. 当您的代码只需要字段时,使用结构化输出,例如 JSON schema。
  4. 在回答有自然结束标记的地方添加停止序列。
  5. 检测因达到上限而被截断的回答,并加以处理,而不是悄悄重试。

告诉模型和 API 您想要多少内容。 模型一次生成一个 token(词元),每一个都要消耗算力。

为什么这很重要?

Delavande、Pierrard 和 Luccioni 发现,能耗随生成长度线性增长;而且较大的模型不仅每个 token 耗能更多,回复也往往更长。联合国教科文组织(UNESCO)和伦敦大学学院(UCL)发现,缩短提示和回复可以把能耗降低一半以上。

我应该使用哪些控制手段?

  • 最大输出 token 数。 每个主流 API 都有这个参数。请按功能分别设置,而不是统一设一个宽松的全局值。
  • 指令。 “用一句话回答”或“只返回类别名称”比单靠硬性上限效果更好,因为模型会规划一个简短的回答,而不是被中途截断。
  • 结构化输出。 如果您的代码要解析字段,就要求模型按 schema 返回 JSON,省去文字说明。
  • 停止序列。 在闭合标签等标记处结束生成。
  • 推理强度。 如果模型提供思考或推理设置,请使用能通过您测试的最低级别:参见何时使用推理模式。

常见错误

  • 上限设得太紧,导致回答被截断,随后又以更高上限自动重试。这比一开始就把长度设对花费更多。
  • 要求没人会读的解释,例如在分类流程中要求“解释您的推理”。
  • 没有按功能记录输出 token 数,导致最啰嗦的功能一直隐而不见。

关于面向用户的使用习惯,请阅读高效使用 AI。

来源

  1. Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
  2. Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
  3. What are tokens and how to count them?, OpenAI Help Center (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私