greenai.guide

首页 › 我该如何……? › 如何避免 GPU 和笔记本环境闲置?

我该如何……?

如何避免 GPU 和笔记本环境闲置?

更新于 · 阅读约需 1 分钟

简而言之

把按需运行设为默认:流水线和训练作业应在触发时启动资源,完成后释放资源。让闲置的笔记本环境和开发用 GPU 在设定时间后自动关闭,在非工作时间把非生产环境缩减到零,并在报告成本的同时按团队报告闲置的 GPU 小时数,让浪费一目了然。

步骤

  1. 让流水线和训练作业在触发时启动资源,在完成时释放资源。
  2. 把笔记本环境和开发用 GPU 设置为在一段时间无活动后自动关闭。
  3. 在工作时间以外把非生产环境缩减到零。
  4. 为临时环境设定自动销毁日期。
  5. 在报告成本的同时,按团队报告闲置的 GPU 小时数。

闲置的 GPU 仍在耗电,也仍在占用制造时耗费了能源的硬件。 为某个实验搭建的笔记本环境、集群和测试环境,很容易在两次实验之间一直运行,或者被遗忘。

哪些应该按需运行?

Green Software Foundation 针对 AI 和智能体工作负载的模式建议,只在基础设施工作时才运行它:对模型开发、流水线和智能体采用无服务器(serverless)或按需执行,让资源在触发时启动、在完成时停止。

开发和测试环境怎么办?

Microsoft Azure 良好架构框架(Well-Architected)的指南指出,应“在不使用时关闭非生产环境”。在 Kubernetes 上,KEDA 的 cron 扩缩器可以在某个时间窗口内扩容工作负载,在窗口之外缩减到零。只排除那些确实必须保持运行的共享服务,并写下原因。

什么做法效果最大

  • 为笔记本环境设置自动关闭,它们是最常被遗忘的 GPU 使用者。
  • 可见性。 把闲置的 GPU 小时数和花费放在同一份报告上;团队会对看得见的东西采取行动。
  • 共享。 共享的资源池或队列通常比每人一台机器更能让 GPU 保持忙碌。

常见错误

  • “以防万一”预留大型 GPU,用于每周只运行一次的工作。
  • 把模型永久加载在内存中,只为一个每天只用几次的内部工具。

请参阅托管与数据中心和高效训练与推理。

来源

  1. Serverless architecture for AI/ML workload processes, Green Software Foundation, Green Software Patterns (2025)
  2. Use on-demand execution for AI and agent workloads, Green Software Foundation, Green Software Patterns (2025)
  3. Reliability recommendations for sustainable workloads on Azure, Microsoft Azure Well-Architected Framework (2026)
  4. Cron scaler, KEDA (CNCF) (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私