# 编排优先于生成

> 为什么复用经过审核的组件、把请求路由到够用的最小模型能减少 AI 能耗，以及目前的证据说明了什么。

Source: https://greenai.guide/zh/文章/编排优先于生成/  
Updated: 2026-11-19

## 简而言之

每个答案、每行代码或每张图片都用大模型从零生成，是使用 AI 最昂贵的方式。编排（orchestration）用 AI 来规划和挑选，再用经过测试的组件拼装结果，并把每一步交给能胜任的最便宜模型。最便宜的 token（词元）是您从未生成的那个。

## 要点

- 生成是生成式 AI 中成本最高的环节；挑选和复用现成的、经过测试的组件要便宜得多。
- 路由把每个请求交给能处理它的最小模型；已发表的路由方案大幅降低了成本，质量损失很小。
- 检索只提供文档或代码库中相关的片段，因此模型读取的 token 更少。
- 复用经过审核的组件也有利于安全和维护：一次修复就能覆盖该组件被使用的所有地方。
- 路由有个陷阱：模型太小可能失败，迫使在大模型上进行代价高昂的重试。

关于 AI 足迹的讨论，大多在问如何让生成更便宜：更小的模型、更快的芯片、更清洁的电力。另一个问题是：究竟需要多少生成。编排给出的回答是，把生成当作最后手段，而不是默认做法。

## “编排优先于生成”是什么意思？ {#what-does-orchestration-over-generation-mean}

**意思是用 AI 来规划任务、挑选部件，然后主要用已经存在并经过检查的东西来构建结果。**只有在没有合适的现成部件时，才让大模型生成新内容。

人们要求生成式 AI 做的事情，很多并不新鲜。软件里充满了相同的模式：登录界面、文件上传、日期处理、数据校验。合同会复用标准条款，报告会复用标准章节。每次都重新生成这些内容，会重复消耗能源，还会产生略有不同、每个都需要检查的版本。

一个经过编排的系统，运作方式更像一支管理良好的工程团队：

1. 规划器弄清楚任务需要什么。
2. 一个低成本的分类器或搜索找到合适的、现成的、经过测试的组件。
3. 只有真正新的部分才需要生成，而且由能胜任的最小模型来生成。
4. 新生成的部分经过测试后加入组件库，下一个请求就可以复用。

这个组件库的作用类似缓存。2026 年英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit（研讨工作坊）以“最便宜的 token 是您从未生成的那个”为题讨论了这种模式。

## 为什么复用能节省能源？ {#why-would-reuse-save-energy}

**因为检索和调整一个组件的成本只是生成它的极小一部分，而经过测试的组件需要的返工也更少。**token，以及大部分推理能耗，正是花在生成上。

AI 生成内容的能源成本并不小。伦敦国王学院的一项研究（Cheung 等，2025 年）是 GreenCode 项目的一篇合作论文，它比较了手工解决编程任务和借助 AI 助手解决编程任务。在这些编程竞赛题目上平均计算，AI 辅助代码生成的碳足迹是手工方式的 32.72 倍，而且任务越复杂，差距越大。复用正是针对这项成本。

除了能源，还有其他好处：

- **质量。**经过审核的组件测试一次，就可以多次放心使用。
- **安全。**如果某个组件被发现有缺陷，您知道它被用在了哪些地方，一次修复就能覆盖所有地方。
- **维护。**由共享部件构建的代码库，比充满近似重复代码的代码库更小、更容易理解。

## 什么是模型路由？ {#what-is-model-routing}

**路由把每个请求发送给最适合它的模型，通常是可能答得好的最小模型。**简单请求交给小而便宜的模型，困难请求才升级。

已发表的研究显示了其潜力：

- **FrugalGPT**（Chen、Zaharia 和 Zou，2023 年）把模型从便宜到昂贵串联起来，一旦答案被判定足够好就停止，报告称在成本最多降低 98% 的情况下达到了与 GPT-4 相当的性能。
- **RouteLLM**（Ong 等，2024 年）用人类偏好数据训练路由器，来判断何时需要强模型，报告称在某些情况下成本降低一半以上而质量不受损。
- **Hybrid LLM**（Ding 等，2024 年）根据预测的难度在一个小模型和一个大模型之间路由查询，对大模型的调用最多减少 40%，回答质量没有下降。

这些研究衡量的是成本而不是直接衡量能耗，但对于同一服务商和同样的硬件，大模型上的 token 越少，通常意味着能耗越低。请参阅[选择合适的模型](/zh/良好实践/为任务选择合适的模型/)。

## 什么是检索，它为什么有帮助？ {#what-is-retrieval-and-why-does-it-help}

**检索会查找相关信息，只把这些信息交给模型，而不是让模型阅读或回忆所有内容。**检索增强生成（RAG）由 Lewis 等人于 2020 年提出，把搜索步骤与生成器结合起来。

就能源而言，关键在于 token 数量。把整份文档或整个代码库塞进模型的上下文窗口，每次请求都要耗费能源。GreenCode 是一个关于节能软件的欧洲（ITEA）研究项目，它从代码库的索引中进行检索，使“token 数量反映的是任务，而不是整个代码仓库”，同时使用经过微调的小模型，并路由到能胜任的最小组件。

## GreenCode 的工作说明了什么？ {#what-does-the-greencode-work-show}

**说明使用 AI 的成本必须计算在内，而且智能体（agent）的工作方式与它使用哪个模型同样重要。**两篇合作论文说明了这一点：

- **EnergyBench**（Ionescu、Jensen 和 Thomsen，2025 年）对 AI 生成的代码同时按正确性和运行时能耗打分。研究发现，在某些情况下，提示词的措辞可以让生成代码的能效最多提高 91.9%，但往往以准确性为代价。单靠提示 AI 写“绿色代码”并不是可靠的办法。
- **GreenCode Constitution**（Kapenekakis 等，2026 年）给一个编程智能体制定了书面原则：正确性第一，其次是 37 种能耗反模式；并让它在每次修改前后测量能耗。在 llama.cpp 这个已经高度优化的推理引擎上，它把 GPU 能耗降低了 4.7%。节省的能耗超过了速度的提升，这提醒我们，更快并不总是更绿色，因此必须直接测量能耗。

GreenCode 自己的流程就贯彻了编排原则：优先使用针对特定任务的小模型、检索和路由，并进行预先评估，使推理成本无法收回的任务不被运行。

## 可能出什么问题？ {#what-can-go-wrong}

**只有选得好，路由和复用才能节省能源。**主要风险有：

- **规模选小了。**太小的模型可能失败，再到大模型上重试，比一开始就用大模型花费更多。在智能体系统中，一次失败可能打乱后续许多步骤，这一点更加重要。如何设定阈值是一个真正的设计难题。
- **组件库过时。**组件需要有负责人、测试和更新，否则复用只会传播旧错误。
- **隐性成本。**分类器、索引和检索步骤都要耗能。它们通常比生成便宜得多，但也应当测量。
- **反弹效应。**AI 越便宜，人们就越多用 AI。请参阅[效率不等于充足](/zh/文章/效率不等于充足-ai-中的反弹效应/)。

## 下一步怎么做 {#what-to-do-next}

- 生成之前先搜索：是否已有经过测试的组件、模板或以前的答案？
- 按难度路由请求；默认使用小模型，必要时再升级。请参阅[高效使用 AI](/zh/良好实践/高效使用-ai-日常习惯/)。
- 用检索来保持提示词简短，而不是粘贴整份文档。
- 维护一个经过审核的输出库，配备测试和负责人，并在使用中不断补充。
- 按每项完成的任务（包括重试）测量能耗或 token，而不是按每次请求。
- 如果您运行多步骤智能体，请阅读[智能体 AI 与 token 浪费](/zh/文章/智能体-ai-与-token-浪费/)。

## 常见问题

### AI 中的编排是什么？

协调多个模型、工具和已存储的组件来完成一项任务，而不是让一个大模型生成全部答案。由规划器决定需要什么，大部分工作由更便宜的部分完成。

### 什么是模型路由？

把每个请求发送给最适合它的模型，通常是最小、最便宜且可能答得好的那个，只在需要时才升级到更大的模型。

### 路由会降低质量吗？

已发表的路由系统报告称，在保留最强模型大部分质量的同时，节省了大量成本；但结果取决于任务本身，以及路由器判断难度的能力。

## 来源

- [FrugalGPT: how to use large language models while reducing cost and improving performance](https://arxiv.org/abs/2305.05176), Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- [RouteLLM: learning to route LLMs with preference data](https://arxiv.org/abs/2406.18665), Ong et al., ICLR 2025 (2024)
- [Hybrid LLM: cost-efficient and quality-aware query routing](https://arxiv.org/abs/2404.14618), Ding et al., ICLR (2024)
- [Retrieval-augmented generation for knowledge-intensive NLP tasks](https://arxiv.org/abs/2005.11401), Lewis et al., NeurIPS (2020)
- [Green optimised generative AI](https://greencode.ai/feature/green-optimised-generative-ai/), GreenCode (2026)
- [Green AI and energy-aware computing](https://greencode.ai/benefit/green-ai-and-energy-aware-computing/), GreenCode (2026)
- [Comparative analysis of carbon footprint in manual vs. LLM-assisted code development](https://doi.org/10.1145/3711919.3728678), Cheung, Kaul, Jahangirova, Mousavi and Zie, ResponsibleSE 2025 (ACM) (2025)
- [EnergyBench: holistic benchmark for correct and energy-efficient LLM-generated code](https://doi.org/10.1109/flta67013.2025.11336593), Ionescu, Jensen and Thomsen, FLTA 2025 (2025)
- [GreenCode Constitution: agent principles for optimizing code and LLM inference energy use](https://greencode.ai/publications/greencode-constitution-agent-principles-for-optimizing-code-and-llm-inference-en/), Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
