简而言之
每个答案、每行代码或每张图片都用大模型从零生成,是使用 AI 最昂贵的方式。编排(orchestration)用 AI 来规划和挑选,再用经过测试的组件拼装结果,并把每一步交给能胜任的最便宜模型。最便宜的 token(词元)是您从未生成的那个。
要点
- 生成是生成式 AI 中成本最高的环节;挑选和复用现成的、经过测试的组件要便宜得多。
- 路由把每个请求交给能处理它的最小模型;已发表的路由方案大幅降低了成本,质量损失很小。
- 检索只提供文档或代码库中相关的片段,因此模型读取的 token 更少。
- 复用经过审核的组件也有利于安全和维护:一次修复就能覆盖该组件被使用的所有地方。
- 路由有个陷阱:模型太小可能失败,迫使在大模型上进行代价高昂的重试。
关于 AI 足迹的讨论,大多在问如何让生成更便宜:更小的模型、更快的芯片、更清洁的电力。另一个问题是:究竟需要多少生成。编排给出的回答是,把生成当作最后手段,而不是默认做法。
“编排优先于生成”是什么意思?
意思是用 AI 来规划任务、挑选部件,然后主要用已经存在并经过检查的东西来构建结果。只有在没有合适的现成部件时,才让大模型生成新内容。
人们要求生成式 AI 做的事情,很多并不新鲜。软件里充满了相同的模式:登录界面、文件上传、日期处理、数据校验。合同会复用标准条款,报告会复用标准章节。每次都重新生成这些内容,会重复消耗能源,还会产生略有不同、每个都需要检查的版本。
一个经过编排的系统,运作方式更像一支管理良好的工程团队:
- 规划器弄清楚任务需要什么。
- 一个低成本的分类器或搜索找到合适的、现成的、经过测试的组件。
- 只有真正新的部分才需要生成,而且由能胜任的最小模型来生成。
- 新生成的部分经过测试后加入组件库,下一个请求就可以复用。
这个组件库的作用类似缓存。2026 年英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit(研讨工作坊)以“最便宜的 token 是您从未生成的那个”为题讨论了这种模式。
为什么复用能节省能源?
因为检索和调整一个组件的成本只是生成它的极小一部分,而经过测试的组件需要的返工也更少。token,以及大部分推理能耗,正是花在生成上。
AI 生成内容的能源成本并不小。伦敦国王学院的一项研究(Cheung 等,2025 年)是 GreenCode 项目的一篇合作论文,它比较了手工解决编程任务和借助 AI 助手解决编程任务。在这些编程竞赛题目上平均计算,AI 辅助代码生成的碳足迹是手工方式的 32.72 倍,而且任务越复杂,差距越大。复用正是针对这项成本。
除了能源,还有其他好处:
- 质量。经过审核的组件测试一次,就可以多次放心使用。
- 安全。如果某个组件被发现有缺陷,您知道它被用在了哪些地方,一次修复就能覆盖所有地方。
- 维护。由共享部件构建的代码库,比充满近似重复代码的代码库更小、更容易理解。
什么是模型路由?
路由把每个请求发送给最适合它的模型,通常是可能答得好的最小模型。简单请求交给小而便宜的模型,困难请求才升级。
已发表的研究显示了其潜力:
- FrugalGPT(Chen、Zaharia 和 Zou,2023 年)把模型从便宜到昂贵串联起来,一旦答案被判定足够好就停止,报告称在成本最多降低 98% 的情况下达到了与 GPT-4 相当的性能。
- RouteLLM(Ong 等,2024 年)用人类偏好数据训练路由器,来判断何时需要强模型,报告称在某些情况下成本降低一半以上而质量不受损。
- Hybrid LLM(Ding 等,2024 年)根据预测的难度在一个小模型和一个大模型之间路由查询,对大模型的调用最多减少 40%,回答质量没有下降。
这些研究衡量的是成本而不是直接衡量能耗,但对于同一服务商和同样的硬件,大模型上的 token 越少,通常意味着能耗越低。请参阅选择合适的模型。
什么是检索,它为什么有帮助?
检索会查找相关信息,只把这些信息交给模型,而不是让模型阅读或回忆所有内容。检索增强生成(RAG)由 Lewis 等人于 2020 年提出,把搜索步骤与生成器结合起来。
就能源而言,关键在于 token 数量。把整份文档或整个代码库塞进模型的上下文窗口,每次请求都要耗费能源。GreenCode 是一个关于节能软件的欧洲(ITEA)研究项目,它从代码库的索引中进行检索,使“token 数量反映的是任务,而不是整个代码仓库”,同时使用经过微调的小模型,并路由到能胜任的最小组件。
GreenCode 的工作说明了什么?
说明使用 AI 的成本必须计算在内,而且智能体(agent)的工作方式与它使用哪个模型同样重要。两篇合作论文说明了这一点:
- EnergyBench(Ionescu、Jensen 和 Thomsen,2025 年)对 AI 生成的代码同时按正确性和运行时能耗打分。研究发现,在某些情况下,提示词的措辞可以让生成代码的能效最多提高 91.9%,但往往以准确性为代价。单靠提示 AI 写“绿色代码”并不是可靠的办法。
- GreenCode Constitution(Kapenekakis 等,2026 年)给一个编程智能体制定了书面原则:正确性第一,其次是 37 种能耗反模式;并让它在每次修改前后测量能耗。在 llama.cpp 这个已经高度优化的推理引擎上,它把 GPU 能耗降低了 4.7%。节省的能耗超过了速度的提升,这提醒我们,更快并不总是更绿色,因此必须直接测量能耗。
GreenCode 自己的流程就贯彻了编排原则:优先使用针对特定任务的小模型、检索和路由,并进行预先评估,使推理成本无法收回的任务不被运行。
可能出什么问题?
只有选得好,路由和复用才能节省能源。主要风险有:
- 规模选小了。太小的模型可能失败,再到大模型上重试,比一开始就用大模型花费更多。在智能体系统中,一次失败可能打乱后续许多步骤,这一点更加重要。如何设定阈值是一个真正的设计难题。
- 组件库过时。组件需要有负责人、测试和更新,否则复用只会传播旧错误。
- 隐性成本。分类器、索引和检索步骤都要耗能。它们通常比生成便宜得多,但也应当测量。
- 反弹效应。AI 越便宜,人们就越多用 AI。请参阅效率不等于充足。
下一步怎么做
- 生成之前先搜索:是否已有经过测试的组件、模板或以前的答案?
- 按难度路由请求;默认使用小模型,必要时再升级。请参阅高效使用 AI。
- 用检索来保持提示词简短,而不是粘贴整份文档。
- 维护一个经过审核的输出库,配备测试和负责人,并在使用中不断补充。
- 按每项完成的任务(包括重试)测量能耗或 token,而不是按每次请求。
- 如果您运行多步骤智能体,请阅读智能体 AI 与 token 浪费。
常见问题
AI 中的编排是什么?
协调多个模型、工具和已存储的组件来完成一项任务,而不是让一个大模型生成全部答案。由规划器决定需要什么,大部分工作由更便宜的部分完成。
什么是模型路由?
把每个请求发送给最适合它的模型,通常是最小、最便宜且可能答得好的那个,只在需要时才升级到更大的模型。
路由会降低质量吗?
已发表的路由系统报告称,在保留最强模型大部分质量的同时,节省了大量成本;但结果取决于任务本身,以及路由器判断难度的能力。
来源
- FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
- Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- Green optimised generative AI, GreenCode (2026)
- Green AI and energy-aware computing, GreenCode (2026)
- Comparative analysis of carbon footprint in manual vs. LLM-assisted code development, Cheung, Kaul, Jahangirova, Mousavi and Zie, ResponsibleSE 2025 (ACM) (2025)
- EnergyBench: holistic benchmark for correct and energy-efficient LLM-generated code, Ionescu, Jensen and Thomsen, FLTA 2025 (2025)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)