# 如何降低超参数搜索的能耗？

> 如何用更少的算力调优模型：用比完整网格更聪明的搜索，提前停止表现差的试验，先做小规模试点，用好默认值并设定预算。

Source: https://greenai.guide/zh/如何/如何降低超参数搜索的能耗/  
Updated: 2026-11-19

## 简而言之

用随机搜索或自适应搜索代替大规模网格搜索，提前停止表现差的试验，先在小数据或小模型上做试点，并从您所用架构公开的默认值出发。记录每一次试验的能耗，而不只是最终胜出的那次，并在开始之前设定算力预算。调优运行的成本往往超过最终训练，而且很少被报告。

## Steps

1. 在开始之前为搜索设定算力预算。
2. 从您的模型系列公开的默认超参数出发。
3. 用随机或自适应搜索代替完整网格。
4. 当试验明显不如目前最好的结果时，提前停止。
5. 在扩大规模之前，先在数据子集或较小的模型上做试点。
6. 在记录准确率的同时，记录每次试验的能耗和排放。

**更聪明地调优，而不是更大范围地调优。** 对许多超参数进行完整的网格搜索，会让训练成本乘以组合的数量，而其中大多数运行在早期就明显较差。

## 为什么这很重要？ {#why-does-it-matter}

Strubell、Ganesh 和 McCallum 2019 年的论文量化了开发语言模型的成本，其中包括围绕模型进行的实验，而不只是一次最终训练。Schwartz 及其同事的《绿色 AI》（Green AI）一文主张，研究人员应报告其成果的计算成本，包括为得出成果所做的实验，从而让效率与准确率一样受到重视。

## 什么最能产生影响？ {#what-makes-the-biggest-difference}

- **提前停止表现差的试验。** 逐次减半（successive halving）之类的方法给每个试验很小的预算，只让有希望的试验继续进行。大多数调优库都支持这一点。
- **随机或自适应搜索。** 不必运行每一种组合，而是随机抽取设置，或者让自适应方法根据先前的结果选择下一次试验。
- **小规模试点。** 在数据子集或较小的模型上排除不可行的想法。
- **默认值优先。** 常见架构经过充分检验的默认值，往往已接近最优。
- **记录每一次试验。** CodeCarbon 的文档介绍了如何跟踪每一种配置，并把准确率与排放进行比较。

## 常见错误 {#common-mistakes}

- **只报告最好的那次运行。** 把所有试验都计入您的算力总量；请参阅[如何报告研究的能耗](/zh/如何/如何报告我的-ai-研究的能耗/)。
- **从第一天起就在完整数据集上调优。**
- **没有预算。** 没有预算，搜索就会不断扩张，直到占满整个集群。请参阅[如何设定算力预算](/zh/如何/如何为科研项目设定算力预算/)。

更多内容请阅读[研究人员指南](/zh/指南/面向研究人员的绿色-ai/)。

## 来源

- [Energy and policy considerations for deep learning in NLP](https://arxiv.org/abs/1906.02243), Strubell, Ganesh and McCallum, ACL (2019)
- [Green AI](https://doi.org/10.1145/3381831), Schwartz, Dodge, Smith and Etzioni, Communications of the ACM (2020)
- [Comparing model efficiency with carbon tracking](https://docs.codecarbon.io/latest/tutorials/comparing-model-efficiency/), CodeCarbon documentation (2025)
