简而言之
在两三种硬件和运行时方案上对您实际使用的模型进行基准测试,在真实的批量规模下比较每次请求或每次训练运行的能耗,同时比较延迟和成本。Patterson 及其同事发现,模型、数据中心和处理器的选择结合起来,最多可将训练的碳排放降低约 100 到 1,000 倍。让好的硬件保持忙碌并长期服役,因为制造新设备本身就有环境足迹。
步骤
- 在两三种加速器和实例方案上,对您自己的模型进行基准测试。
- 在您真实的批量规模下测量每次请求或每次运行的能耗,同时测量延迟。
- 在每种方案上尝试不止一种推理运行时。
- 选择能满足延迟和质量要求、能耗最低的方案。
- 权衡新硬件的隐含碳排放与预期节省的能源。
- 当模型或流量发生变化时,重新测试。
根据您工作负载的实测能耗来选择硬件,而不是根据峰值规格。 同一个模型在不同的加速器、实例类型和运行时上,能耗可能差别很大,而最佳选择取决于您的批量规模和流量。
如何公平地比较各种方案?
绿色软件基金会(Green Software Foundation)的模式建议,根据证据选择高效的加速器和实例类型,以及高效的框架和推理运行时。在实践中:
- 在每个候选方案上运行相同的模型、输入和设置;
- 在您真正会使用的批量规模下测量每次请求(或每次运行)的能耗,而不只是在最理想的情况下;
- 在记录能耗的同时记录延迟和质量;
- 把运行时也算进去:在同一块芯片上换一个服务引擎,结果就可能改变。
Patterson 及其同事发现,模型架构、数据中心和处理器的选择,最多可将训练的碳足迹降低约 100 到 1,000 倍,因此硬件选择应与其他这些决定一并考虑。
我应该购买新硬件吗?
不一定。Meta 的 Wu 及其同事报告称,来自硬件制造的隐含碳约占 Meta 大规模机器学习碳足迹的 30%。新的加速器必须在其寿命期内节省足够的能源,才能抵消其制造排放。请参阅计算隐含碳排放。
常见错误
- 大型加速器利用不足。 低利用率的大 GPU,每个回答的能耗可能比一直保持忙碌的小 GPU 还高;请参阅批量处理 AI 请求。
- 只做一次基准测试。 当模型、运行时或流量发生变化时,重新测试。
请参阅高效训练与推理。
来源
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Select efficient accelerators and instance types for AI workloads, Green Software Foundation, Green Software Patterns (2025)
- Select efficient ML frameworks and inference runtimes, Green Software Foundation, Green Software Patterns (2025)
- Sustainable AI: environmental implications, challenges and opportunities, Wu et al., MLSys (2022)