简而言之
云服务商以低价出售闲置算力,条件是可以在短时间通知后收回,这就是竞价实例(spot)或可抢占实例(preemptible)。训练、评估、批量推理和数据处理只要能保存检查点并顺利重试,就可以使用这类算力。Microsoft 的指导意见是只把它用于能容忍中断的工作,因为中断可能带来不稳定。
步骤
- 列出可以停止并重新启动的 AI 工作负载,例如训练、评估和批量推理。
- 为这些作业加入定期检查点和清晰的重试逻辑。
- 在多种实例类型上,以竞价或可抢占算力运行它们。
- 交互式工作或有严格截止时间的工作仍使用标准算力。
- 测量因中断而损失的工作量,并据此调整检查点间隔。
闲置算力是已经建成并通电的硬件;用它来运行可灵活安排的工作,能让这些硬件物尽其用。 它通常也便宜得多,这也让这样做更有说服力。
哪些 AI 作业适合?
- 定期保存检查点的训练和微调运行;
- 超参数搜索,其中每次试验都相互独立;
- 评估和基准测试运行;
- 对一批文档或图片进行的批量推理;
- 数据准备。
Microsoft Azure 良好架构框架(Well-Architected)的可持续性指南指出,应“只把 Spot 虚拟机用于能容忍中断的工作负载”,并提到它们可以减少基础设施浪费,但也可能带来不稳定。
如何让作业不怕中断?
- 以合理的间隔保存检查点,包括优化器状态。
- 让作业在重新启动时自动从最近的检查点继续。
- 允许使用多种实例类型,让调度器有更多闲置算力可用。
- 逐步写出结果,避免丢失已完成的工作。
正如 Green Software Foundation 针对 AI 工作负载提出的模式所建议的,检查点还能让您在电网较“脏”时暂停作业;请参阅在电网更清洁时安排训练。
常见错误
- 没有检查点,一次中断就会丢掉几个小时的工作,能源也随之浪费。
- 检查点保存过于频繁,保存本身的成本超过了它所保护的价值。
- 把面向用户的服务放在竞价算力上。
请参阅托管与数据中心。
来源
- Reliability recommendations for sustainable workloads on Azure, Microsoft Azure Well-Architected Framework (2026)
- Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)
相关内容
如何避免 GPU 和笔记本环境闲置?
避免闲置的 AI 硬件浪费能源:按需启动资源,自动停止闲置的笔记本环境,非工作时间缩减到零,并报告闲置的 GPU 小时数。
如何在电网更清洁的时候安排模型训练?
在电网碳强度低时运行训练和批量 AI 作业:使用预测数据,用检查点让作业可以暂停,并把截止时间作为硬性限制。
如何批量处理 AI 请求以节省能源?
批处理如何提高加速器利用率、降低每个回答的能耗:实时流量用连续批处理,离线工作用排队批处理。
绿色 AI 的托管与数据中心
如何选择 AI 的运行地点:电网碳强度、PUE 与 WUE、可再生能源声明、用水和选址,并附上可向托管服务商提出的问题。