greenai.guide

首页 › 我该如何……? › 如何利用云上的闲置算力运行 AI 作业?

我该如何……?

如何利用云上的闲置算力运行 AI 作业?

更新于 · 阅读约需 1 分钟

简而言之

云服务商以低价出售闲置算力,条件是可以在短时间通知后收回,这就是竞价实例(spot)或可抢占实例(preemptible)。训练、评估、批量推理和数据处理只要能保存检查点并顺利重试,就可以使用这类算力。Microsoft 的指导意见是只把它用于能容忍中断的工作,因为中断可能带来不稳定。

步骤

  1. 列出可以停止并重新启动的 AI 工作负载,例如训练、评估和批量推理。
  2. 为这些作业加入定期检查点和清晰的重试逻辑。
  3. 在多种实例类型上,以竞价或可抢占算力运行它们。
  4. 交互式工作或有严格截止时间的工作仍使用标准算力。
  5. 测量因中断而损失的工作量,并据此调整检查点间隔。

闲置算力是已经建成并通电的硬件;用它来运行可灵活安排的工作,能让这些硬件物尽其用。 它通常也便宜得多,这也让这样做更有说服力。

哪些 AI 作业适合?

  • 定期保存检查点的训练和微调运行;
  • 超参数搜索,其中每次试验都相互独立;
  • 评估和基准测试运行;
  • 对一批文档或图片进行的批量推理;
  • 数据准备。

Microsoft Azure 良好架构框架(Well-Architected)的可持续性指南指出,应“只把 Spot 虚拟机用于能容忍中断的工作负载”,并提到它们可以减少基础设施浪费,但也可能带来不稳定。

如何让作业不怕中断?

  1. 以合理的间隔保存检查点,包括优化器状态。
  2. 让作业在重新启动时自动从最近的检查点继续。
  3. 允许使用多种实例类型,让调度器有更多闲置算力可用。
  4. 逐步写出结果,避免丢失已完成的工作。

正如 Green Software Foundation 针对 AI 工作负载提出的模式所建议的,检查点还能让您在电网较“脏”时暂停作业;请参阅在电网更清洁时安排训练。

常见错误

  • 没有检查点,一次中断就会丢掉几个小时的工作,能源也随之浪费。
  • 检查点保存过于频繁,保存本身的成本超过了它所保护的价值。
  • 把面向用户的服务放在竞价算力上。

请参阅托管与数据中心。

来源

  1. Reliability recommendations for sustainable workloads on Azure, Microsoft Azure Well-Architected Framework (2026)
  2. Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私