greenai.guide

首页 › 良好实践 › 边缘还是云端:AI 应该在哪里运行?

良好实践

边缘还是云端:AI 应该在哪里运行?

更新于 · 阅读约需 2 分钟

简而言之

边缘和云端都不天然更绿色。集中式数据中心运行大模型通常效率更高,而设备端和边缘 AI 可以避免网络传输、把数据留在本地并离线工作。请逐案判断:在整个系统(包括设备、网络和硬件)范围内,比较每个有用结果的能耗。

要点

  • 小型、频繁或对延迟敏感的任务在本地运行;大型或少见的任务交给高效的集中式硬件。
  • 国际能源署(IEA)估计,2022 年数据传输网络耗电 260–360 TWh,约占全球电力的 1–1.5%,其中移动网络约占三分之二。
  • 网络能耗并不随数据量整齐地增减,因此按每 GB 计算的节省往往被夸大。
  • 数十亿台设备的影响会累积起来:要计入用户的设备、电池以及他们可能需要更换的硬件。
  • 本地 AI 把数据留在设备上,有利于隐私、主权和韧性。

边缘 AI 和云端 AI 哪个更绿色?

这取决于任务、模型和设备,因此请在整个系统范围内进行比较,而不是凭假设判断。集中式数据中心以高利用率运行加速器,并配有专门的冷却设施,所以通常能更高效地完成大模型的计算。边缘 AI 在设备上或附近的服务器上运行,避免了跨网络传输数据,并且在空闲时可以完全关闭。

2026 年英国一次绿色 AI sandpit(研讨工作坊)汇集了数学家、计算机科学家和业界人士,他们讨论的正是这个问题。AI 正在扩展到传感器、摄像头、门铃、汽车和手机助手中。乘以数百万台设备之后,本地 AI 的能耗比把数据发送到数据中心更多还是更少?与会者指出,针对部署在边缘的一些较小视觉模型已有端到端能耗研究,但针对大语言模型(LLM)的研究很少。今天诚实的回答是:请测量您自己的情况。

各有哪些取舍?

每种方案在不同方面占优。

因素 设备端 / 边缘 集中式数据中心
每次计算的能耗 在通用芯片上通常较高;在专用神经网络加速器上较好 通常较低,尤其在高利用率时
模型规模 小模型,常为量化模型 任意规模
网络能耗 很少或没有 每个请求都要经过网络
空闲能耗 可以休眠或关闭 共享容量需保持就绪
硬件 分散在数十亿台设备上;可能推动升级换代 集中,每几年更新一次
延迟 快,可离线工作 取决于网络连接
隐私 数据可以留在设备上 数据脱离用户的控制
测量 困难:分散且无人报告 可行,前提是服务商报告
控制权 分散 集中在少数服务商手中

网络的影响有多大?

网络的总能耗很高,但其中很大一部分是几乎恒定的基础负荷,因此任何单个请求的影响都比按字节计算的计算器所显示的要小。

  • 国际能源署(International Energy Agency)估计,2022 年数据传输网络耗电 260 至 360 TWh,约占全球电力的 1% 至 1.5%,其中移动网络约占三分之二。
  • Mytton、Lundén 和 Malmodin 在 2024 年表明,网络能耗与数据量并不成正比。网络设备无论忙闲都在耗电,因此把 GB 直接换算成千瓦时,会夸大少传数据带来的节省。
  • 无论如何都应减少数据量:这能节省服务器和设备的能耗,而避免的流量也可能免去未来的网络扩容。但不要把按每 GB 计算的网络节省作为支持边缘 AI 的主要论据。

请注意,许多已发表的单次提示词(prompt)数据都没有把网络和用户设备计算在内。例如,Google 2025 年公布的 Gemini 数据就把两者都排除在外。在比较边缘和云端的数字之前,请先核对其边界。

设备本身呢?

请计入运行您的 AI 的设备的能耗、电池和硬件,因为它们是您足迹的一部分。

  • 隐含排放:制造设备会产生碳排放。SCI 规范把一部分隐含排放计入软件系统的足迹。如果设备端 AI 促使人们提前更换仍可使用的手机或笔记本电脑,这一成本可能抵消任何运行层面的节省。
  • 电池消耗是由用户承担的隐性能源成本。这次 sandpit 以手机 AI 助手为例指出了这一点。
  • 自适应:绿色软件基金会(Green Software Foundation)建议,在电量低或设备发热时切换到更小的模型或更低的运行频率。
  • 规模:每台设备上微小的节省或成本,在数百万台持续运行的设备上就会变得很大。

隐私和韧性如何纳入考虑?

本地 AI 把数据留在设备上,并且在网络连接或中央服务出现故障时仍能继续工作。

  • 隐私:在本地处理的数据无需由服务商传输或存储。这符合英国和欧盟数据保护法中的数据最小化原则,适合健康记录或关键基础设施记录等敏感数据。这次 sandpit 指出,在关键基础设施行业,敏感的运营数据往往必须留在组织内部,这就需要高效的本地模型。
  • 主权与控制:分布式推理把控制权从少数大型服务商手中分散开来。
  • 韧性:sandpit 还提出了依赖问题:当社会依赖 AI,而网络或电力中断时会怎样?本地能力可以让基本功能继续运行。
  • 问责:边缘 AI 更难监测。如果您部署它,请规划好如何测量和报告。

如何一步步做出决定?

算出每种方案每个有用结果的能耗,然后权衡隐私、延迟和韧性。

  1. 定义任务及其质量标准。什么才算成功的结果?
  2. 找到能达到标准的最小模型(为任务选择合适的模型)。量化模型所需内存更少:在 LLM.int8() 研究中,8 位推理使内存需求减半。
  3. 估算云端每个结果的能耗,包括数据中心的额外开销,并尽可能包括网络。
  4. 在有代表性的设备上测量每个结果的设备能耗,包括较旧和低功耗的设备。
  5. 加上硬件影响:这是否需要新设备或专用的边缘服务器?
  6. 考虑频率:频繁的小任务通常适合在设备上运行;少见的重任务适合放在云端。
  7. 权衡隐私、延迟、离线使用和韧性。
  8. 考虑拆分方案:由本地小模型处理大多数请求,把困难的请求升级到云端。
  9. 部署后进行测量,并随着模型和硬件的变化重新评估。

检查清单

  • [ ] 比较了边缘、云端和拆分方案每个有用结果的能耗
  • [ ] 边界包括设备,并尽可能包括网络
  • [ ] 选择了足够用的最小模型,并在效果不受影响时为设备进行了量化
  • [ ] AI 功能不会迫使用户升级设备
  • [ ] 已处理电池和发热问题,并在电量低时提供轻量模式
  • [ ] 记录了隐私和数据保护方面的好处
  • [ ] 为边缘部署规划了监测

下一步做什么

  1. 选择一项 AI 功能,草拟它的边缘、云端和拆分方案。
  2. 在典型设备上测量每个结果的能耗,并估算云端的对应值;参见测量 AI 能耗。
  3. 在您支持的最旧设备上测试一个量化小模型。
  4. 确定出于隐私或主权原因必须留在本地的数据。
  5. 阅读边缘 AI 了解更全面的情况,阅读托管与数据中心 了解云端方面。
  6. 在产品目录中查找边缘 AI 工具,在研究中查找研究团队。

常见问题

设备端 AI 比云端 AI 更绿色吗?

有时是。在手机上运行小模型可以省去数据中心和网络的能耗,但设备每次计算的效率低于数据中心的加速器,而且为了运行 AI 购买新硬件本身也有足迹。请比较整个系统。

把数据发送到云端会消耗大量能源吗?

网络确实消耗大量能源,但其中很大一部分是几乎恒定的基础负荷。减少数据量仍然对设备和服务器有帮助,但按每 GB 计算的网络节省通常被夸大了。

什么是边缘计算?

在数据产生或使用的地点附近进行的计算:在设备本身上,或在附近的网关或小型本地服务器上,而不是在遥远的数据中心里。

为什么会涉及隐私?

在设备上处理的数据不必离开设备。这减少了数据暴露,也更容易遵守数据保护规则,例如数据最小化原则。

来源

  1. Data centres and data transmission networks, International Energy Agency (2023)
  2. Network energy use not directly proportional to data volume: the power model approach for more reliable network energy consumption calculations, Mytton, Lundén and Malmodin, Journal of Industrial Ecology (2024)
  3. Green Software Patterns: run AI models at the edge, Green Software Foundation (2025)
  4. Green Software Patterns: optimise power consumption for edge AI inference, Green Software Foundation (2025)
  5. Measuring the environmental impact of delivering AI at Google scale, Google (arXiv 2508.15734) (2025)
  6. Software Carbon Intensity (SCI) specification, Green Software Foundation (2024)
  7. Principle (c): Data minimisation, Information Commissioner's Office (2023)
  8. LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale, Dettmers et al. (arXiv 2208.07339) (2022)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私