# 大きな計算資源なしでモデルをファインチューニングするには？

> LoRA や QLoRA などのパラメータ効率のよいファインチューニングで、1枚の GPU に収め、はるかに少ないエネルギーでモデルを適応させる方法です。

Source: https://greenai.guide/ja/ハウツー/大きな計算資源なしでモデルをファインチューニングするには/  
Updated: 2026-11-19

## 要点

事前学習済みのモデルから始め、すべての重みではなく小さなアダプターだけを学習させましょう。LoRA、または 4ビットの重みを使う QLoRA を使います。LoRA は GPT-3 の完全なファインチューニングと比べて、学習するパラメータを1万分の1に、GPU メモリを3分の1に減らしました。QLoRA は 650億パラメータのモデルを 48 GB の GPU 1枚でファインチューニングしました。もっと大きなものを検討する前に、結果を品質の基準と比べてください。

## Steps

1. そもそもファインチューニングの前に、プロンプトの工夫や検索（リトリーバル）で足りないか確かめます。
2. 目的の作業で十分に近い結果を出す、最も小さな事前学習済みモデルを選びます。
3. LoRA アダプターをファインチューニングします。メモリが厳しければ QLoRA を使います。
4. 小さくきれいな作業専用のデータセットを使い、検証結果が改善しなくなったら早めに止めます。
5. 排出量トラッカーでエネルギーを記録し、結果とあわせて残します。

**事前学習済みモデルを丸ごと学習し直すのではなく、その小さな一部だけを適応させましょう。**パラメータ効率のよいファインチューニングなら、完全なファインチューニングの効果の大半を、ごく一部の計算量で得られます。

## なぜ大切なのですか？ {#why-does-it-matter}

完全なファインチューニングはすべての重みを更新するため、大きな GPU クラスターと長い実行時間が必要です。Hu らは、固定した重みの横に小さな追加の行列を学習させる LoRA（低ランク適応）によって、GPT-3 175B のファインチューニングと比べて、学習するパラメータを1万分の1に、GPU メモリを3分の1に減らせることを示しました。Dettmers らの QLoRA はこれを 4ビットの重みと組み合わせ、650億パラメータのモデルを 48 GB の GPU 1枚でファインチューニングしました。

## どうやればいいですか？ {#how-do-i-do-it}

1. **必要性を問い直す。**ファインチューニングはスキルや文体を教えるもので、変化する事実を加えるのには向いていません。[検索（リトリーバル）かファインチューニングか](/ja/ハウツー/省エネのためには-rag-とファインチューニングのどちらを選ぶべき/)をご覧ください。
2. **小さく始める。**目的の作業でファインチューニングした小さなモデルは、その作業でははるかに大きな汎用モデルに並ぶことがあります。
3. **アダプター用のライブラリを使う。**よく使われるオープンソースのライブラリは、数行の設定で LoRA と QLoRA に対応しています。
4. **データを絞る。**少なく、きれいな例ほど速く学習できます。重複を取り除きましょう。
5. **測る。**CodeCarbon などのトラッカーで実行を包み、精度の横にエネルギーを記録します。

## よくある間違い {#common-mistakes}

- **小さなモデルを試す前に、手に入る最大のモデルをファインチューニングする。**
- **早期終了なしで長く実行する。**品質が頭打ちになった後もコストがかかり続けます。
- **データを更新するたびに学習し直す。**代わりに検索用のインデックスを更新しましょう。

ほかの学習の手法については、[効率的な学習と推論](/ja/グッドプラクティス/ai-の効率的な学習と推論/)をお読みください。

## 出典

- [LoRA: low-rank adaptation of large language models](https://arxiv.org/abs/2106.09685), Hu et al. (2021)
- [QLoRA: efficient finetuning of quantized LLMs](https://arxiv.org/abs/2305.14314), Dettmers, Pagnoni, Holtzman and Zettlemoyer (2023)
- [Green Software Patterns: leverage pre-trained models and transfer learning](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/pre-trained-transfer-learning.md), Green Software Foundation (2025)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
