要点
モデルが、変化する事実や自分たち固有の事実を必要とするときは検索を使いましょう。事実を検索可能なインデックスに入れ、関連する部分だけを取り出します。モデルに足りないスキル、形式、文体が必要なときはファインチューニングを使います。事実を最新に保つための再学習は学習コストを繰り返し、文書全体を毎回プロンプトに貼り付けると推論が無駄になります。どちらの方法にも適した場面があります。
手順
- モデルに足りないものを書き出します。事実、スキル、形式、口調のどれかです。
- 変化する事実や非公開の事実は検索可能なインデックスに入れ、関連する部分だけを取り出します。
- プロンプトでは実現できないスキル、形式、文体に限って、小さなアダプターをファインチューニングします。
- 内容が変わったらインデックスを更新し、変わった部分だけを処理します。
- 決める前に、それぞれの方法でリクエストあたりのトークン数と品質を測ります。
事実は検索し、スキルはファインチューニングしましょう。 選び方を誤ると、再学習か大きすぎるプロンプトのどちらかで、何度もコストを払うことになります。
何が違うのですか?
- 検索拡張生成(RAG) は、自分のコンテンツから関連する部分を探し、質問と一緒にモデルに渡します。Lewis らが 2020年に、知識を多く必要とするタスク向けにこの手法を提案しました。モデルの重みは変わらないので、知識の更新はインデックスの更新で済みます。
- ファインチューニング は、モデルの重み、または LoRA のような小さなアダプターを変更し、出力形式、分類の体系、社内の文体といった振る舞いを学ばせます。
どちらがエネルギーを使わないのですか?
情報がどのくらいの頻度で変わるか、各リクエストがどれだけのテキストを運ぶかによります。
| 状況 | 通常はこちらが適切 |
|---|---|
| 事実が毎週または毎月変わる | 検索 |
| 非公開の文書、方針、製品データ | 検索 |
| 決まった出力形式やラベル付けの体系 | 小さなモデルのファインチューニング |
| 非常に大量で、範囲の狭いタスク | ファインチューニング(プロンプトを短くできるため) |
ITEA の研究プロジェクトである GreenCode は、自らの AI が必要なデータだけを読むよう検索を使い、実行のたびに変わった部分だけを処理していると説明しています。
よくある間違い
- 事実を追加するために再学習すること。 更新のたびに学習コストが繰り返されます。
- 「何でもプロンプトに詰め込む」RAG。 2 件で足りるのに長い文章を 20 件取り出すと、入力トークンが何倍にもなります。ベクトル検索と RAG を効率化する方法をご覧ください。
- 大きなモデルをファインチューニングすること。 小さなモデルのファインチューニングで足りる場合があります。
より広い原則については、生成よりオーケストレーションをお読みください。
出典
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- Green AI and energy-aware computing, GreenCode (2026)
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)
関連
ベクトル検索や RAG をもっと効率的にするには?
検索拡張生成(RAG)の計算を減らす方法です。近似インデックス、少なく短い文章、差分のインデックス作成、小さなモデルを使います。
大きな計算資源なしでモデルをファインチューニングするには?
LoRA や QLoRA などのパラメータ効率のよいファインチューニングで、1枚の GPU に収め、はるかに少ないエネルギーでモデルを適応させる方法です。
生成よりオーケストレーション
検証済みの部品を再利用し、要求を対応できる最小のモデルに振り分けることで AI のエネルギー使用量をどう減らせるか、現時点での根拠とあわせて解説します。
用途に合ったモデルを選ぶ
AI を適正なサイズで使う方法。小型・特化型モデルを使うべき場面、フロンティアモデルがコストに見合う場面、ルーティングの仕組み、AI を使わないほうがよい場面を解説します。