greenai.guide

首页 › 文章 › 编排优先于生成

文章

编排优先于生成

更新于 · 阅读约需 2 分钟

简而言之

每个答案、每行代码或每张图片都用大模型从零生成,是使用 AI 最昂贵的方式。编排(orchestration)用 AI 来规划和挑选,再用经过测试的组件拼装结果,并把每一步交给能胜任的最便宜模型。最便宜的 token(词元)是您从未生成的那个。

要点

  • 生成是生成式 AI 中成本最高的环节;挑选和复用现成的、经过测试的组件要便宜得多。
  • 路由把每个请求交给能处理它的最小模型;已发表的路由方案大幅降低了成本,质量损失很小。
  • 检索只提供文档或代码库中相关的片段,因此模型读取的 token 更少。
  • 复用经过审核的组件也有利于安全和维护:一次修复就能覆盖该组件被使用的所有地方。
  • 路由有个陷阱:模型太小可能失败,迫使在大模型上进行代价高昂的重试。

关于 AI 足迹的讨论,大多在问如何让生成更便宜:更小的模型、更快的芯片、更清洁的电力。另一个问题是:究竟需要多少生成。编排给出的回答是,把生成当作最后手段,而不是默认做法。

“编排优先于生成”是什么意思?

意思是用 AI 来规划任务、挑选部件,然后主要用已经存在并经过检查的东西来构建结果。只有在没有合适的现成部件时,才让大模型生成新内容。

人们要求生成式 AI 做的事情,很多并不新鲜。软件里充满了相同的模式:登录界面、文件上传、日期处理、数据校验。合同会复用标准条款,报告会复用标准章节。每次都重新生成这些内容,会重复消耗能源,还会产生略有不同、每个都需要检查的版本。

一个经过编排的系统,运作方式更像一支管理良好的工程团队:

  1. 规划器弄清楚任务需要什么。
  2. 一个低成本的分类器或搜索找到合适的、现成的、经过测试的组件。
  3. 只有真正新的部分才需要生成,而且由能胜任的最小模型来生成。
  4. 新生成的部分经过测试后加入组件库,下一个请求就可以复用。

这个组件库的作用类似缓存。2026 年英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit(研讨工作坊)以“最便宜的 token 是您从未生成的那个”为题讨论了这种模式。

为什么复用能节省能源?

因为检索和调整一个组件的成本只是生成它的极小一部分,而经过测试的组件需要的返工也更少。token,以及大部分推理能耗,正是花在生成上。

AI 生成内容的能源成本并不小。伦敦国王学院的一项研究(Cheung 等,2025 年)是 GreenCode 项目的一篇合作论文,它比较了手工解决编程任务和借助 AI 助手解决编程任务。在这些编程竞赛题目上平均计算,AI 辅助代码生成的碳足迹是手工方式的 32.72 倍,而且任务越复杂,差距越大。复用正是针对这项成本。

除了能源,还有其他好处:

  • 质量。经过审核的组件测试一次,就可以多次放心使用。
  • 安全。如果某个组件被发现有缺陷,您知道它被用在了哪些地方,一次修复就能覆盖所有地方。
  • 维护。由共享部件构建的代码库,比充满近似重复代码的代码库更小、更容易理解。

什么是模型路由?

路由把每个请求发送给最适合它的模型,通常是可能答得好的最小模型。简单请求交给小而便宜的模型,困难请求才升级。

已发表的研究显示了其潜力:

  • FrugalGPT(Chen、Zaharia 和 Zou,2023 年)把模型从便宜到昂贵串联起来,一旦答案被判定足够好就停止,报告称在成本最多降低 98% 的情况下达到了与 GPT-4 相当的性能。
  • RouteLLM(Ong 等,2024 年)用人类偏好数据训练路由器,来判断何时需要强模型,报告称在某些情况下成本降低一半以上而质量不受损。
  • Hybrid LLM(Ding 等,2024 年)根据预测的难度在一个小模型和一个大模型之间路由查询,对大模型的调用最多减少 40%,回答质量没有下降。

这些研究衡量的是成本而不是直接衡量能耗,但对于同一服务商和同样的硬件,大模型上的 token 越少,通常意味着能耗越低。请参阅选择合适的模型。

什么是检索,它为什么有帮助?

检索会查找相关信息,只把这些信息交给模型,而不是让模型阅读或回忆所有内容。检索增强生成(RAG)由 Lewis 等人于 2020 年提出,把搜索步骤与生成器结合起来。

就能源而言,关键在于 token 数量。把整份文档或整个代码库塞进模型的上下文窗口,每次请求都要耗费能源。GreenCode 是一个关于节能软件的欧洲(ITEA)研究项目,它从代码库的索引中进行检索,使“token 数量反映的是任务,而不是整个代码仓库”,同时使用经过微调的小模型,并路由到能胜任的最小组件。

GreenCode 的工作说明了什么?

说明使用 AI 的成本必须计算在内,而且智能体(agent)的工作方式与它使用哪个模型同样重要。两篇合作论文说明了这一点:

  • EnergyBench(Ionescu、Jensen 和 Thomsen,2025 年)对 AI 生成的代码同时按正确性和运行时能耗打分。研究发现,在某些情况下,提示词的措辞可以让生成代码的能效最多提高 91.9%,但往往以准确性为代价。单靠提示 AI 写“绿色代码”并不是可靠的办法。
  • GreenCode Constitution(Kapenekakis 等,2026 年)给一个编程智能体制定了书面原则:正确性第一,其次是 37 种能耗反模式;并让它在每次修改前后测量能耗。在 llama.cpp 这个已经高度优化的推理引擎上,它把 GPU 能耗降低了 4.7%。节省的能耗超过了速度的提升,这提醒我们,更快并不总是更绿色,因此必须直接测量能耗。

GreenCode 自己的流程就贯彻了编排原则:优先使用针对特定任务的小模型、检索和路由,并进行预先评估,使推理成本无法收回的任务不被运行。

可能出什么问题?

只有选得好,路由和复用才能节省能源。主要风险有:

  • 规模选小了。太小的模型可能失败,再到大模型上重试,比一开始就用大模型花费更多。在智能体系统中,一次失败可能打乱后续许多步骤,这一点更加重要。如何设定阈值是一个真正的设计难题。
  • 组件库过时。组件需要有负责人、测试和更新,否则复用只会传播旧错误。
  • 隐性成本。分类器、索引和检索步骤都要耗能。它们通常比生成便宜得多,但也应当测量。
  • 反弹效应。AI 越便宜,人们就越多用 AI。请参阅效率不等于充足。

下一步怎么做

  • 生成之前先搜索:是否已有经过测试的组件、模板或以前的答案?
  • 按难度路由请求;默认使用小模型,必要时再升级。请参阅高效使用 AI。
  • 用检索来保持提示词简短,而不是粘贴整份文档。
  • 维护一个经过审核的输出库,配备测试和负责人,并在使用中不断补充。
  • 按每项完成的任务(包括重试)测量能耗或 token,而不是按每次请求。
  • 如果您运行多步骤智能体,请阅读智能体 AI 与 token 浪费。

常见问题

AI 中的编排是什么?

协调多个模型、工具和已存储的组件来完成一项任务,而不是让一个大模型生成全部答案。由规划器决定需要什么,大部分工作由更便宜的部分完成。

什么是模型路由?

把每个请求发送给最适合它的模型,通常是最小、最便宜且可能答得好的那个,只在需要时才升级到更大的模型。

路由会降低质量吗?

已发表的路由系统报告称,在保留最强模型大部分质量的同时,节省了大量成本;但结果取决于任务本身,以及路由器判断难度的能力。

来源

  1. FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
  2. RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
  3. Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)
  4. Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
  5. Green optimised generative AI, GreenCode (2026)
  6. Green AI and energy-aware computing, GreenCode (2026)
  7. Comparative analysis of carbon footprint in manual vs. LLM-assisted code development, Cheung, Kaul, Jahangirova, Mousavi and Zie, ResponsibleSE 2025 (ACM) (2025)
  8. EnergyBench: holistic benchmark for correct and energy-efficient LLM-generated code, Ionescu, Jensen and Thomsen, FLTA 2025 (2025)
  9. GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私