greenai.guide

首页 › 我该如何……? › 如何为 AI 选择节能的硬件?

我该如何……?

如何为 AI 选择节能的硬件?

更新于 · 阅读约需 1 分钟

简而言之

在两三种硬件和运行时方案上对您实际使用的模型进行基准测试,在真实的批量规模下比较每次请求或每次训练运行的能耗,同时比较延迟和成本。Patterson 及其同事发现,模型、数据中心和处理器的选择结合起来,最多可将训练的碳排放降低约 100 到 1,000 倍。让好的硬件保持忙碌并长期服役,因为制造新设备本身就有环境足迹。

步骤

  1. 在两三种加速器和实例方案上,对您自己的模型进行基准测试。
  2. 在您真实的批量规模下测量每次请求或每次运行的能耗,同时测量延迟。
  3. 在每种方案上尝试不止一种推理运行时。
  4. 选择能满足延迟和质量要求、能耗最低的方案。
  5. 权衡新硬件的隐含碳排放与预期节省的能源。
  6. 当模型或流量发生变化时,重新测试。

根据您工作负载的实测能耗来选择硬件,而不是根据峰值规格。 同一个模型在不同的加速器、实例类型和运行时上,能耗可能差别很大,而最佳选择取决于您的批量规模和流量。

如何公平地比较各种方案?

绿色软件基金会(Green Software Foundation)的模式建议,根据证据选择高效的加速器和实例类型,以及高效的框架和推理运行时。在实践中:

  • 在每个候选方案上运行相同的模型、输入和设置;
  • 在您真正会使用的批量规模下测量每次请求(或每次运行)的能耗,而不只是在最理想的情况下;
  • 在记录能耗的同时记录延迟和质量;
  • 把运行时也算进去:在同一块芯片上换一个服务引擎,结果就可能改变。

Patterson 及其同事发现,模型架构、数据中心和处理器的选择,最多可将训练的碳足迹降低约 100 到 1,000 倍,因此硬件选择应与其他这些决定一并考虑。

我应该购买新硬件吗?

不一定。Meta 的 Wu 及其同事报告称,来自硬件制造的隐含碳约占 Meta 大规模机器学习碳足迹的 30%。新的加速器必须在其寿命期内节省足够的能源,才能抵消其制造排放。请参阅计算隐含碳排放。

常见错误

  • 大型加速器利用不足。 低利用率的大 GPU,每个回答的能耗可能比一直保持忙碌的小 GPU 还高;请参阅批量处理 AI 请求。
  • 只做一次基准测试。 当模型、运行时或流量发生变化时,重新测试。

请参阅高效训练与推理。

来源

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Select efficient accelerators and instance types for AI workloads, Green Software Foundation, Green Software Patterns (2025)
  3. Select efficient ML frameworks and inference runtimes, Green Software Foundation, Green Software Patterns (2025)
  4. Sustainable AI: environmental implications, challenges and opportunities, Wu et al., MLSys (2022)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私