greenai.guide

首页 › 我该如何……? › AI 应该在我的设备上运行,还是在云端运行?

我该如何……?

AI 应该在我的设备上运行,还是在云端运行?

更新于 · 阅读约需 1 分钟

简而言之

把小型、频繁、涉及隐私或对延迟敏感的任务放在设备上运行,把需要大模型的大型或偶发任务交给高效的云服务。一些研究发现,对于合适的模型,在设备上运行可以大幅节能,但运营良好的数据中心是很难超越的基准,因此请尽可能针对您自己的情况进行测量。

步骤

  1. 列出任务的需求:模型规模、运行频率、隐私,以及是否必须离线工作。
  2. 小模型、频繁使用、私密数据和离线需求,优先选择设备端。
  3. 大模型、偶发的繁重任务和可以批量处理的工作,优先选择云端。
  4. 在可以测量的情况下,比较两种方案每个任务的能耗,包括网络部分。
  5. 把电池寿命和硬件使用年限也算作设备端的成本。

小而频繁的任务适合设备端;大而偶发的任务适合云端。 两者都不是在所有情况下都更环保。答案取决于模型、运行频率,以及两边各自的效率。

证据怎么说?

证据并不一致。 Li、Islam 和 Ren 发现,几种生成式模型部署在边缘设备上时环境足迹更小,在一款新近手机上的测试中节能超过 90%。但他们的云端基准并不是经过充分优化的生产服务,而在高效数据中心里、批处理良好的服务器更难被超越。2026 年英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit(研讨工作坊)把分布在数百万台设备上的 AI 的净能耗影响列为一个悬而未决的问题。

如何选择?

有利于设备端 有利于云端
小模型,例如 Apple 约 30 亿参数的设备端模型 本地装不下的大模型
运行频繁,例如处理每张照片或每次按键 偶尔运行
私密或敏感数据 可以批量处理或安排时间运行的工作
必须离线或即时工作 需要最新、最强的模型

绿色软件基金会(Green Software Foundation)把在边缘运行 AI 模型列为其绿色软件模式之一,但这是针对合适模型的一种选择,而不是一条规则。

常见错误

  • 以为本地运行不耗费任何东西。 它会消耗您的电池,还可能促使您购买新硬件。
  • 忽视网络。 把大文件发送到云端同样有代价。
  • 运行对设备来说太大的模型,结果既慢又耗电。

更完整的决策指南,请参阅边缘还是云端和边缘 AI。

来源

  1. A case study of environmental footprints for generative AI inference: cloud versus edge, Li, Islam and Ren, ACM SIGMETRICS Performance Evaluation Review (2025)
  2. Apple Intelligence Foundation Language Models: Tech Report 2025, Apple (2025)
  3. Green Software Patterns: run AI models at the edge, Green Software Foundation (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私