简而言之
把小型、频繁、涉及隐私或对延迟敏感的任务放在设备上运行,把需要大模型的大型或偶发任务交给高效的云服务。一些研究发现,对于合适的模型,在设备上运行可以大幅节能,但运营良好的数据中心是很难超越的基准,因此请尽可能针对您自己的情况进行测量。
步骤
- 列出任务的需求:模型规模、运行频率、隐私,以及是否必须离线工作。
- 小模型、频繁使用、私密数据和离线需求,优先选择设备端。
- 大模型、偶发的繁重任务和可以批量处理的工作,优先选择云端。
- 在可以测量的情况下,比较两种方案每个任务的能耗,包括网络部分。
- 把电池寿命和硬件使用年限也算作设备端的成本。
小而频繁的任务适合设备端;大而偶发的任务适合云端。 两者都不是在所有情况下都更环保。答案取决于模型、运行频率,以及两边各自的效率。
证据怎么说?
证据并不一致。 Li、Islam 和 Ren 发现,几种生成式模型部署在边缘设备上时环境足迹更小,在一款新近手机上的测试中节能超过 90%。但他们的云端基准并不是经过充分优化的生产服务,而在高效数据中心里、批处理良好的服务器更难被超越。2026 年英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit(研讨工作坊)把分布在数百万台设备上的 AI 的净能耗影响列为一个悬而未决的问题。
如何选择?
| 有利于设备端 | 有利于云端 |
|---|---|
| 小模型,例如 Apple 约 30 亿参数的设备端模型 | 本地装不下的大模型 |
| 运行频繁,例如处理每张照片或每次按键 | 偶尔运行 |
| 私密或敏感数据 | 可以批量处理或安排时间运行的工作 |
| 必须离线或即时工作 | 需要最新、最强的模型 |
绿色软件基金会(Green Software Foundation)把在边缘运行 AI 模型列为其绿色软件模式之一,但这是针对合适模型的一种选择,而不是一条规则。
常见错误
- 以为本地运行不耗费任何东西。 它会消耗您的电池,还可能促使您购买新硬件。
- 忽视网络。 把大文件发送到云端同样有代价。
- 运行对设备来说太大的模型,结果既慢又耗电。
来源
- A case study of environmental footprints for generative AI inference: cloud versus edge, Li, Islam and Ren, ACM SIGMETRICS Performance Evaluation Review (2025)
- Apple Intelligence Foundation Language Models: Tech Report 2025, Apple (2025)
- Green Software Patterns: run AI models at the edge, Green Software Foundation (2025)
相关内容
边缘还是云端:AI 应该在哪里运行?
如何权衡设备端和边缘 AI 与集中式数据中心:能耗、网络、硬件、隐私和韧性,并附逐步决策方法。
边缘 AI:更环保,还是只是更不显眼?
端侧和边缘 AI 可以节省网络和数据中心的能耗,却把计算分散到无人测量的数十亿台设备上。我们知道什么,又不知道什么。
如何在本地运行 AI 模型?
如何用 Ollama 或 llama.cpp 等工具在自己的笔记本电脑或服务器上运行开放 AI 模型,选择能装得下的量化模型,并测量其能耗。
如何把模型缩小到能在边缘设备上运行?
为手机、传感器和嵌入式板卡缩小模型:从小模型起步,进行蒸馏、量化和剪枝,再在真实设备上测试准确率和能耗。