greenai.guide

ホーム › グッドプラクティス › AI の効率的な学習と推論

グッドプラクティス

AI の効率的な学習と推論

更新日 · 2分で読めます

要点

AI のエネルギーの大部分は、品質を落とさずに削減できます。ゼロから学習せずにモデルを再利用し、枝刈り、量子化、蒸留で小さくし、バッチ処理とキャッシュで効率よく提供し、柔軟に動かせるジョブは電力がよりクリーンな時間と場所で実行しましょう。速いことが常にグリーンとは限らないため、変更のたびに前後でエネルギーを測定してください。

要点

  • 学習する前に再利用を。GPT-3 175B の完全なファインチューニングと比べ、LoRA で小さなアダプターをファインチューニングすると、学習対象のパラメーターは 1 万分の 1、GPU メモリは 3 分の 1 になりました。
  • 大規模言語モデルは、再学習なしの一度の処理で、精度の低下をごくわずかに抑えつつ少なくとも 50% のスパース性まで枝刈りできます(SparseGPT)。
  • 8 ビット推論は、品質を落とさずに必要なメモリを半分にできます(LLM.int8())。4 ビットも試しましょう。
  • 提供方法も重要です。vLLM では、バッチ処理とページングによる KV キャッシュ管理によって、同じ遅延でスループットが 2〜4 倍になりました。
  • カーボンアウェアなスケジューリングが減らすのは排出量であり、エネルギーではありません。効率化の取り組みに上乗せして行い、決してその代わりにしないでください。

どこから始めればよいですか?

まず測定し、その後は再利用、縮小、効率的な提供、スケジューリングの順に進めましょう。 初めのほうのステップほど、たいてい削減効果が大きく、リスクも小さくなります。

Google の Patterson らは 2021 年に、モデル、データセンター、プロセッサーの選び方によって、学習のカーボンフットプリントが最大でおよそ 100〜1,000 倍も変わりうると推計しました。その幅の大部分は、あなたが左右できるものです。何かを変える前に、同じハードウェアと負荷でエネルギー測定の仕組みを整えましょう。そうすれば、品質を損なわずにエネルギーを節約できる変更だけを残せます。速度は信頼できる代わりの指標にはなりません。速くなってもエネルギーを多く使う変更もあれば、遅くなっても省エネになる変更もあります。

ゼロからの学習は避けられますか?

たいていは避けられます。事前学習済みのモデルから始め、必要な部分だけを適応させましょう。

  • パラメーター効率のよいファインチューニング。 LoRA はモデル全体ではなく、小さな低ランクのアダプター行列を学習させます。著者らは、GPT-3 175B の完全なファインチューニングと比べて、学習対象のパラメーターが 1 万分の 1、GPU メモリが 3 分の 1 になったと報告しました。QLoRA はこれを 4 ビットの重みと組み合わせ、650 億パラメーターのモデルを 48 GB の GPU 1 枚でファインチューニングしました。
  • 再学習の代わりに検索を使う。 変わる事実は検索可能なインデックスに入れ、クエリのときに取り出しましょう。ファインチューニングは事実ではなく、スキルや文体のために行います。
  • モデルマージ(「スープ」)。 Wortsman らによると、同じベースからファインチューニングしたモデルの重みを平均すると、推論コストを増やさずに、単独のモデルの最良のものを上回ることがあります。専門的なファインチューニングを統合することは、すでにコストを払った成果を再利用する方法です。
  • 継続学習。 データが変わったときは、ゼロから再学習するのではなく、モデルを少しずつ更新しましょう。

枝刈りとスパース性はどう役立ちますか?

学習済みのネットワークの重みの大部分は、ほとんど損失なく取り除いたり、使わないままにしたりできます。そうすれば、回答 1 件あたりの計算とメモリが減ります。

  • 非構造化枝刈りは個々の重みを取り除きます。SparseGPT は GPT 系のモデルを、再学習なしの一度の処理で、精度の低下をごくわずかに抑えつつ少なくとも 50% のスパース性まで枝刈りし、当時最大のオープンモデルでは、パープレキシティをほとんど増やさずに 60% に達しました。
  • 構造化枝刈りはニューロン、ヘッド、層をまるごと取り除きます。こちらは一般的なハードウェアでも活用しやすくなります。
  • 活性化のスパース性とは、ある入力に対してほとんどのニューロンが活性化しないことです。
  • 混合エキスパート(MoE)モデルは、各トークンを少数の専門のサブネットワークに送ります。Patterson らは、大規模で疎に活性化するモデルは、大規模な密なモデルの 10 分の 1 未満のエネルギーで済むことがあると明らかにしました。ただし、すべてのエキスパートをメモリに置いておく必要はあります。

数学者、コンピューター科学者、産業界が集まった 2026 年の英国のグリーン AI サンドピット(集中討議型ワークショップ)からの注意点があります。スパース性が十分に活用されていない理由の 1 つは、ハードウェアやライブラリが密な計算向けに作られていることです。使っているランタイムが、スパース性を実際にエネルギーの節約に結びつけているかを確認しましょう。サンドピットでは、ランダム行列理論を使って学習前にスパース性の度合いを選ぶことや、事前学習済みモデルにそのまま組み込めるアテンションのスパース近似についても議論されました。効率的な AI のための数学を参照してください。

量子化、蒸留、混合精度はどうですか?

品質基準が許す限り、少ないビット数と小さなモデルを使いましょう。

技法 内容 公表された結果
量子化 重みを 16 ビットや 32 ビットではなく、8 ビットや 4 ビットで保存・計算する LLM.int8() は、最大 1,750 億パラメーターまで品質を落とさずに推論のメモリを半分にした。UNESCO と UCL は、量子化などのモデル圧縮で最大 44% のエネルギーを節約できると報告
蒸留 小さな「生徒」モデルに、大きな「教師」モデルをまねるよう学習させる DistilBERT は BERT より 40% 小さく 60% 速い一方で、言語理解能力の 97% を保った
混合精度 全精度のマスターコピーを持ちつつ、半精度で学習する 学習時のメモリ使用量をほぼ半分にした(Micikevicius ら)

それぞれを自分たちの評価セットでテストしましょう。Hugging Face は、メモリが律速でないワークロードでは量子化によって遅延が増えることがあると指摘しています。リクエストあたりのエネルギーと遅延を、変更の前後で測定してください。

モデルを効率よく提供するには?

アクセラレーターを役に立つ仕事で忙しくさせ、何も再計算しないようにしましょう。 十分に使われていない GPU でも、かなりの電力を消費します。

  1. リクエストをバッチ処理する。 連続バッチ処理を備えた提供エンジンは、同時に来たリクエストをまとめます。KV キャッシュを仮想メモリのように管理する vLLM の PagedAttention は、同じ遅延で従来のシステムの 2〜4 倍のスループットを実現しました。
  2. KV キャッシュをうまく使う。 それまでのトークンのキーとバリューをキャッシュしましょう。ライブラリが対応していれば、コンパイルしたフォワードパスと静的キャッシュを使います。
  3. 最適化された処理経路を有効にする。 半精度の重み、効率的なアテンションカーネル(SDPA や FlashAttention など)、コンパイルは、使えるのに既定では無効になっていることがよくあります。
  4. 投機的デコーディング。 小さな下書きモデルがトークンを提案し、大きなモデルがそれを確認します。Leviathan らは、T5-XXL で出力をまったく変えずに生成を 2〜3 倍速くできたと報告しました。
  5. 出力の長さをタスクに必要な分に制限し、同一のリクエストへの回答はキャッシュする。
  6. ランタイムとハードウェアを比べる。 実際のバッチサイズで、2〜3 種類の提供スタックをベンチマークしましょう。

ジョブはいつ、どこで実行すべきですか?

柔軟に動かせる処理は、電力がよりクリーンな時間と場所で実行しましょう。ただし、これは効率化への上乗せとして扱い、その代わりにはしないでください。

  • 時間をずらす。 学習の実行、評価、バッチ推論は、何時間か待てることがよくあります。炭素強度の予測に合わせてスケジュールを組みましょう。CATS のようなツールは、クラスターのジョブを包んでこれを行います。英国(グレートブリテン)では、Carbon Intensity API が地域ごとの予測を公開しています。
  • 長いジョブを一時停止できるようにする。 オプティマイザーの状態も含めて定期的にチェックポイントを保存し、電力網の炭素強度が高いときにはジョブを止め、作業を失わずに後で再開できるようにしましょう。
  • 地域とハードウェアを選ぶ。 遅延が問題にならない場合は、データを移動するコストも考慮したうえで、低炭素の地域と効率のよいアクセラレーターを選びましょう。ホスティングとデータセンターを参照してください。
  • 絶対的なエネルギー量に注意する。 カーボンアウェアなスケジューリングが変えるのは処理を実行するタイミングであり、使う量ではありません。炭素と並んで、作業単位あたりのエネルギーも追跡しましょう。

チェックリスト

  • [ ] 変更のたびに、同じ構成で複数回、前後のエネルギーを測定した
  • [ ] ゼロから学習する前に、事前学習済みモデルとアダプターを検討した
  • [ ] 変わる事実には、再学習の代わりに検索を使っている
  • [ ] 枝刈り、量子化、蒸留を品質基準に照らしてテストした
  • [ ] 学習で混合精度を使っている
  • [ ] 提供時にバッチ処理、KV キャッシュの最適化、効率的なアテンションを有効にした
  • [ ] 出力の長さを制限し、同一のリクエストはキャッシュしている
  • [ ] 柔軟なジョブはチェックポイントを保存し、よりクリーンな時間帯に予定した
  • [ ] 学習のエネルギーとハードウェアをモデルカードに記録した

次にすること

  1. 学習と評価のスクリプトに CodeCarbon などの排出量トラッカーを追加し、結果の表で精度の隣にエネルギーを載せましょう。
  2. 次のファインチューニングで LoRA または QLoRA を試し、完全なファインチューニングと比べましょう。
  3. 配備しているモデルの 8 ビット版と 4 ビット版を、評価セットでテストしましょう。
  4. バッチ処理と最適化されたアテンションの経路を有効にして、提供スタックをベンチマークしましょう。
  5. 定期的に実行するクラスターのジョブを 1 つ、カーボンアウェアなスケジューラーで包みましょう。
  6. 研修は講座ディレクトリで、関連する取り組みは研究と博士課程で探しましょう。

よくある質問

量子化すると精度は下がりますか?

わずかに下がることがありますが、8 ビットでは目立たないことが多いです。量子化したモデルは必ず自分たちの評価セットでテストしてください。また、メモリが律速でないワークロードでは、量子化によって遅延が増えることがある点にも注意しましょう。

KV キャッシュとは何ですか?

トランスフォーマーがテキストを生成するとき、それまでのトークンのキー行列とバリュー行列を保存しておき、ステップごとに再計算しないようにする仕組みです。このキャッシュをうまく管理することは、提供時の効率化の中でも特に効果の大きいものの 1 つです。

エネルギーコストが大きいのは学習と推論のどちらですか?

モデルがどれだけ広く使われるかによります。学習は大きな一度きりのコストですが、推論はリクエストのたびに発生するため、人気のあるモデルでは通常、モデルの生涯を通じて推論のほうが大きくなります。

モデルマージ、またはモデルスープとは何ですか?

同じ出発点からファインチューニングした複数のモデルの重みを平均することです。結果は 1 つのモデルとして動くため推論コストは増えず、個々のモデルの中で最も良いものを上回ることがあります。

出典

  1. LoRA: Low-Rank Adaptation of Large Language Models, Hu et al. (arXiv 2106.09685) (2021)
  2. QLoRA: Efficient Finetuning of Quantized LLMs, Dettmers et al. (arXiv 2305.14314) (2023)
  3. SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot, Frantar and Alistarh (arXiv 2301.00774) (2023)
  4. LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale, Dettmers et al. (arXiv 2208.07339) (2022)
  5. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
  6. Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
  7. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  8. Fast Inference from Transformers via Speculative Decoding, Leviathan et al. (arXiv 2211.17192) (2022)
  9. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al. (arXiv 2203.05482) (2022)
  10. Carbon Emissions and Large Neural Network Training, Patterson et al. (arXiv 2104.10350) (2021)
  11. AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO (2025)
  12. Optimizing inference, Hugging Face Transformers documentation (2025)
  13. Green Software Patterns: carbon-aware scheduling and region selection for AI workloads, Green Software Foundation (2025)
  14. CATS: Climate-Aware Task Scheduler, GreenScheduler (2025)

参加する

AI が地球に与える影響を減らすために

新しいガイド、資金の公募、ディレクトリの掲載情報を、月に1回ほどメールでお届けします。または、製品、講座、PhD、研究をディレクトリに追加してください。

トラッキングなし。ワンクリックで配信停止できます。 その他の参加方法 · プライバシー