简而言之
把按需运行设为默认:流水线和训练作业应在触发时启动资源,完成后释放资源。让闲置的笔记本环境和开发用 GPU 在设定时间后自动关闭,在非工作时间把非生产环境缩减到零,并在报告成本的同时按团队报告闲置的 GPU 小时数,让浪费一目了然。
步骤
- 让流水线和训练作业在触发时启动资源,在完成时释放资源。
- 把笔记本环境和开发用 GPU 设置为在一段时间无活动后自动关闭。
- 在工作时间以外把非生产环境缩减到零。
- 为临时环境设定自动销毁日期。
- 在报告成本的同时,按团队报告闲置的 GPU 小时数。
闲置的 GPU 仍在耗电,也仍在占用制造时耗费了能源的硬件。 为某个实验搭建的笔记本环境、集群和测试环境,很容易在两次实验之间一直运行,或者被遗忘。
哪些应该按需运行?
Green Software Foundation 针对 AI 和智能体工作负载的模式建议,只在基础设施工作时才运行它:对模型开发、流水线和智能体采用无服务器(serverless)或按需执行,让资源在触发时启动、在完成时停止。
开发和测试环境怎么办?
Microsoft Azure 良好架构框架(Well-Architected)的指南指出,应“在不使用时关闭非生产环境”。在 Kubernetes 上,KEDA 的 cron 扩缩器可以在某个时间窗口内扩容工作负载,在窗口之外缩减到零。只排除那些确实必须保持运行的共享服务,并写下原因。
什么做法效果最大
- 为笔记本环境设置自动关闭,它们是最常被遗忘的 GPU 使用者。
- 可见性。 把闲置的 GPU 小时数和花费放在同一份报告上;团队会对看得见的东西采取行动。
- 共享。 共享的资源池或队列通常比每人一台机器更能让 GPU 保持忙碌。
常见错误
- “以防万一”预留大型 GPU,用于每周只运行一次的工作。
- 把模型永久加载在内存中,只为一个每天只用几次的内部工具。
来源
- Serverless architecture for AI/ML workload processes, Green Software Foundation, Green Software Patterns (2025)
- Use on-demand execution for AI and agent workloads, Green Software Foundation, Green Software Patterns (2025)
- Reliability recommendations for sustainable workloads on Azure, Microsoft Azure Well-Architected Framework (2026)
- Cron scaler, KEDA (CNCF) (2025)
相关内容
如何利用云上的闲置算力运行 AI 作业?
在竞价实例或可抢占实例上运行可中断的 AI 工作:让作业能保存检查点并顺利重试,不能中断的工作则放在别处运行。
如何批量处理 AI 请求以节省能源?
批处理如何提高加速器利用率、降低每个回答的能耗:实时流量用连续批处理,离线工作用排队批处理。
如何减少在科研计算集群上运行 AI 实验的环境足迹?
降低高性能计算集群上 AI 实验的能耗:查看 Slurm 能耗记录,只申请实际所需资源,先做小规模试验,设置检查点,并灵活安排作业时间。
绿色 AI 的托管与数据中心
如何选择 AI 的运行地点:电网碳强度、PUE 与 WUE、可再生能源声明、用水和选址,并附上可向托管服务商提出的问题。