greenai.guide

ホーム › どうすれば…? › モデルの学習にかかるエネルギーを減らすには?

どうすれば…?

モデルの学習にかかるエネルギーを減らすには?

更新日 · 1分で読めます

要点

できる限り事前学習済みのモデルから始め、基準を満たせる最小のアーキテクチャを選び、混合精度で学習し、検証の成績が伸びなくなったら止め、効率の良いハードウェアを低炭素の地域と時間帯で使いましょう。Patterson らは、モデル、データセンター、プロセッサーの選択によって、学習のカーボンフットプリントを最大で約 100〜1,000 分の 1 に減らせることを示しました。トレードオフが見えるよう、すべての実行を測定しましょう。

手順

  1. ゼロから学習する代わりに、事前学習済みのモデルをファインチューニングできないか確認します。
  2. 本格的な実行の前に、小規模でアイデアを試します。
  3. 混合精度で学習し、検証の成績が伸びなくなったら早期に終了します。
  4. 効率の良いアクセラレーターを低炭素の地域で使い、柔軟に動かせる実行はよりクリーンな時間帯に予定します。
  5. 実行を一時停止、再開でき、最初からやり直さずに済むよう、チェックポイントを保存します。
  6. 失敗した実行も含め、すべての実行のエネルギーと排出量を追跡します。

学習のエネルギーは、そのほとんどが実行を始める前の判断で決まります。 何を、何で、どこで、いつ学習するかのほうが、実行中のどんな調整よりも重要です。

なぜ重要なのですか?

Strubell、Ganesh、McCallum による 2019年の論文は、言語モデルの学習にかかる金銭的、環境的コストを定量化し、それを減らす方法を提案しました。その後 Patterson らは、モデルのアーキテクチャ、データセンター、プロセッサーの選択によって、学習のカーボンフットプリントを最大で約 100〜1,000 分の 1 に減らせることを示しました。

いちばん差が出るのは何ですか?

  1. ゼロから学習しないこと。 事前学習済みのモデルや、その上のアダプターをファインチューニングするコストは、たいてい事前学習のごく一部です。 ゼロからの学習を避ける方法をご覧ください。
  2. 規模の適正化。 基準を満たす小さなアーキテクチャは、基準を上回る大きなものに勝ります。
  3. 混合精度。 Micikevicius らの研究では、完全精度のマスターコピーを保ちつつ半精度で学習することで、メモリ使用量がほぼ半分になり、同じハードウェアでより大きなバッチを扱えるようになりました。
  4. 早期終了。 検証損失が頭打ちになったら実行を終えます。
  5. 場所と時間。 効率の良いアクセラレーターと低炭素の地域を選び、柔軟に動かせるジョブは送電網がよりクリーンなときに実行します。 学習のスケジュールの立て方をご覧ください。

よくある間違い

  • 最終の実行だけを数えること。 チューニングや失敗した実行のほうが、多くのコストがかかることがよくあります。 ハイパーパラメータ探索のエネルギーを減らす方法をご覧ください。
  • チェックポイントを保存しないこと。 中断すると最初からやり直しになります。
  • 測定しないこと。 学習スクリプトに CodeCarbon などの追跡ツールを組み込みましょう。

ツールの全体像は、効率的な学習と推論をお読みください。

出典

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
  3. Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
  4. CodeCarbon, CodeCarbon (2026)

参加する

AI が地球に与える影響を減らすために

新しいガイド、資金の公募、ディレクトリの掲載情報を、月に1回ほどメールでお届けします。または、製品、講座、PhD、研究をディレクトリに追加してください。

トラッキングなし。ワンクリックで配信停止できます。 その他の参加方法 · プライバシー