简而言之
在 API 调用中设置最大输出长度,在提示中告诉模型您需要的格式和长度,并使用停止序列或结构化输出,让它在任务完成时就停下。能耗随模型生成的 token(词元)数量增长,因此限制输出是任何应用中最简单的节能方法之一。
步骤
- 为每项功能确定最长的有用回答,并据此设置 API 的最大输出 token 数。
- 在提示中说明格式和长度,例如“三个要点”。
- 当您的代码只需要字段时,使用结构化输出,例如 JSON schema。
- 在回答有自然结束标记的地方添加停止序列。
- 检测因达到上限而被截断的回答,并加以处理,而不是悄悄重试。
告诉模型和 API 您想要多少内容。 模型一次生成一个 token(词元),每一个都要消耗算力。
为什么这很重要?
Delavande、Pierrard 和 Luccioni 发现,能耗随生成长度线性增长;而且较大的模型不仅每个 token 耗能更多,回复也往往更长。联合国教科文组织(UNESCO)和伦敦大学学院(UCL)发现,缩短提示和回复可以把能耗降低一半以上。
我应该使用哪些控制手段?
- 最大输出 token 数。 每个主流 API 都有这个参数。请按功能分别设置,而不是统一设一个宽松的全局值。
- 指令。 “用一句话回答”或“只返回类别名称”比单靠硬性上限效果更好,因为模型会规划一个简短的回答,而不是被中途截断。
- 结构化输出。 如果您的代码要解析字段,就要求模型按 schema 返回 JSON,省去文字说明。
- 停止序列。 在闭合标签等标记处结束生成。
- 推理强度。 如果模型提供思考或推理设置,请使用能通过您测试的最低级别:参见何时使用推理模式。
常见错误
- 上限设得太紧,导致回答被截断,随后又以更高上限自动重试。这比一开始就把长度设对花费更多。
- 要求没人会读的解释,例如在分类流程中要求“解释您的推理”。
- 没有按功能记录输出 token 数,导致最啰嗦的功能一直隐而不见。
关于面向用户的使用习惯,请阅读高效使用 AI。
来源
- Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- What are tokens and how to count them?, OpenAI Help Center (2025)
相关内容
我该如何……?
如何写出更节能的提示?
如何写出所需计算更少的 AI 提示:具体明确、设定长度、只粘贴相关内容,并争取一次写对,而不是反复重试。
我该如何……?
如何避免聊天机器人每次都重新发送整段对话?
如何让聊天机器人的上下文保持精简:限制历史轮次,总结较早的消息,只检索相关内容,并缓存固定提示,让输入不再不断增长。
我该如何……?
什么时候该用 AI 的“思考”或推理模式?
AI 推理或“思考”模式何时值得使用,何时标准模型就够了,以及为什么推理模式每个回答的能耗可能高出许多倍。
良好实践
高效使用 AI:日常习惯
降低 AI 使用能耗的日常习惯:清晰的提示、减少反复重新生成、慎用图像和视频、利用缓存,以及关闭默认开启的功能。