# 如何为 AI 选择节能的硬件？

> 根据真实批量规模下实测的每个任务能耗选择 AI 硬件，比较运行时和加速器，并权衡新设备与隐含碳排放。

Source: https://greenai.guide/zh/如何/如何为-ai-选择节能的硬件/  
Updated: 2026-11-19

## 简而言之

在两三种硬件和运行时方案上对您实际使用的模型进行基准测试，在真实的批量规模下比较每次请求或每次训练运行的能耗，同时比较延迟和成本。Patterson 及其同事发现，模型、数据中心和处理器的选择结合起来，最多可将训练的碳排放降低约 100 到 1,000 倍。让好的硬件保持忙碌并长期服役，因为制造新设备本身就有环境足迹。

## Steps

1. 在两三种加速器和实例方案上，对您自己的模型进行基准测试。
2. 在您真实的批量规模下测量每次请求或每次运行的能耗，同时测量延迟。
3. 在每种方案上尝试不止一种推理运行时。
4. 选择能满足延迟和质量要求、能耗最低的方案。
5. 权衡新硬件的隐含碳排放与预期节省的能源。
6. 当模型或流量发生变化时，重新测试。

**根据您工作负载的实测能耗来选择硬件，而不是根据峰值规格。** 同一个模型在不同的加速器、实例类型和运行时上，能耗可能差别很大，而最佳选择取决于您的批量规模和流量。

## 如何公平地比较各种方案？ {#how-do-i-compare-options-fairly}

绿色软件基金会（Green Software Foundation）的模式建议，根据证据选择高效的加速器和实例类型，以及高效的框架和推理运行时。在实践中：

- 在每个候选方案上运行相同的模型、输入和设置；
- 在您真正会使用的批量规模下测量每次请求（或每次运行）的能耗，而不只是在最理想的情况下；
- 在记录能耗的同时记录延迟和质量；
- 把运行时也算进去：在同一块芯片上换一个服务引擎，结果就可能改变。

Patterson 及其同事发现，模型架构、数据中心和处理器的选择，最多可将训练的碳足迹降低约 100 到 1,000 倍，因此硬件选择应与其他这些决定一并考虑。

## 我应该购买新硬件吗？ {#should-i-buy-new-hardware}

不一定。Meta 的 Wu 及其同事报告称，来自硬件制造的隐含碳约占 Meta 大规模机器学习碳足迹的 30%。新的加速器必须在其寿命期内节省足够的能源，才能抵消其制造排放。请参阅[计算隐含碳排放](/zh/如何/如何计算-ai-硬件的隐含碳排放/)。

## 常见错误 {#common-mistakes}

- **大型加速器利用不足。** 低利用率的大 GPU，每个回答的能耗可能比一直保持忙碌的小 GPU 还高；请参阅[批量处理 AI 请求](/zh/如何/如何批量处理-ai-请求以节省能源/)。
- **只做一次基准测试。** 当模型、运行时或流量发生变化时，重新测试。

请参阅[高效训练与推理](/zh/良好实践/高效的-ai-训练与推理/)。

## 来源

- [Carbon emissions and large neural network training](https://arxiv.org/abs/2104.10350), Patterson et al. (2021)
- [Select efficient accelerators and instance types for AI workloads](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/architecture/system-topology/efficient-hardware-ai-workloads.md), Green Software Foundation, Green Software Patterns (2025)
- [Select efficient ML frameworks and inference runtimes](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/select-efficient-ml-frameworks-inference-runtimes.md), Green Software Foundation, Green Software Patterns (2025)
- [Sustainable AI: environmental implications, challenges and opportunities](https://proceedings.mlsys.org/paper_files/paper/2022/hash/462211f67c7d858f663355eff93b745e-Abstract.html), Wu et al., MLSys (2022)
