greenai.guide

ホーム › どうすれば…? › 省エネのためには RAG とファインチューニングのどちらを選ぶべき?

どうすれば…?

省エネのためには RAG とファインチューニングのどちらを選ぶべき?

更新日 · 1分で読めます

要点

モデルが、変化する事実や自分たち固有の事実を必要とするときは検索を使いましょう。事実を検索可能なインデックスに入れ、関連する部分だけを取り出します。モデルに足りないスキル、形式、文体が必要なときはファインチューニングを使います。事実を最新に保つための再学習は学習コストを繰り返し、文書全体を毎回プロンプトに貼り付けると推論が無駄になります。どちらの方法にも適した場面があります。

手順

  1. モデルに足りないものを書き出します。事実、スキル、形式、口調のどれかです。
  2. 変化する事実や非公開の事実は検索可能なインデックスに入れ、関連する部分だけを取り出します。
  3. プロンプトでは実現できないスキル、形式、文体に限って、小さなアダプターをファインチューニングします。
  4. 内容が変わったらインデックスを更新し、変わった部分だけを処理します。
  5. 決める前に、それぞれの方法でリクエストあたりのトークン数と品質を測ります。

事実は検索し、スキルはファインチューニングしましょう。 選び方を誤ると、再学習か大きすぎるプロンプトのどちらかで、何度もコストを払うことになります。

何が違うのですか?

  • 検索拡張生成(RAG) は、自分のコンテンツから関連する部分を探し、質問と一緒にモデルに渡します。Lewis らが 2020年に、知識を多く必要とするタスク向けにこの手法を提案しました。モデルの重みは変わらないので、知識の更新はインデックスの更新で済みます。
  • ファインチューニング は、モデルの重み、または LoRA のような小さなアダプターを変更し、出力形式、分類の体系、社内の文体といった振る舞いを学ばせます。

どちらがエネルギーを使わないのですか?

情報がどのくらいの頻度で変わるか、各リクエストがどれだけのテキストを運ぶかによります。

状況 通常はこちらが適切
事実が毎週または毎月変わる 検索
非公開の文書、方針、製品データ 検索
決まった出力形式やラベル付けの体系 小さなモデルのファインチューニング
非常に大量で、範囲の狭いタスク ファインチューニング(プロンプトを短くできるため)

ITEA の研究プロジェクトである GreenCode は、自らの AI が必要なデータだけを読むよう検索を使い、実行のたびに変わった部分だけを処理していると説明しています。

よくある間違い

  • 事実を追加するために再学習すること。 更新のたびに学習コストが繰り返されます。
  • 「何でもプロンプトに詰め込む」RAG。 2 件で足りるのに長い文章を 20 件取り出すと、入力トークンが何倍にもなります。ベクトル検索と RAG を効率化する方法をご覧ください。
  • 大きなモデルをファインチューニングすること。 小さなモデルのファインチューニングで足りる場合があります。

より広い原則については、生成よりオーケストレーションをお読みください。

出典

  1. Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
  2. Green AI and energy-aware computing, GreenCode (2026)
  3. LoRA: low-rank adaptation of large language models, Hu et al. (2021)

参加する

AI が地球に与える影響を減らすために

新しいガイド、資金の公募、ディレクトリの掲載情報を、月に1回ほどメールでお届けします。または、製品、講座、PhD、研究をディレクトリに追加してください。

トラッキングなし。ワンクリックで配信停止できます。 その他の参加方法 · プライバシー