greenai.guide

ホーム › どうすれば…? › ベクトル検索や RAG をもっと効率的にするには?

どうすれば…?

ベクトル検索や RAG をもっと効率的にするには?

更新日 · 1分で読めます

要点

すべての問い合わせを保存済みのすべてのベクトルと比べるのではなく、近似最近傍インデックスを使いましょう。長い文章をたくさん取り出すのではなく、短く関連性の高い文章を少しだけ取り出し、変更のあった内容だけを埋め込み直します。そのうえで、よい文脈から十分に答えられる最も小さな生成モデルを使います。検索システムの無駄の大半は、総当たりの検索と大きすぎるプロンプトから生じます。

手順

  1. 総当たりのベクトル比較を、近似最近傍インデックスに置き換えます。
  2. 文書を短いチャンクに分け、上位の少数だけを取り出します。
  3. インデックス全体を作り直すのではなく、新しい内容や変更された内容だけを埋め込み直します。
  4. 回答ごとの入力トークン数を記録し、品質を高めない文脈は削ります。
  5. 検索の品質がよくなったら、より小さな生成モデルを試します。

検索は、モデルが読む量を増やすのではなく、減らすためのものです。よくできた検索拡張生成(RAG)システムは、関連する文章を少しだけすばやく見つけ、それだけをモデルに渡します。

RAG はどこでエネルギーを無駄にしていますか?

  • 総当たりの検索。問い合わせを保存済みのすべての埋め込みと1つずつ比べると、コレクションが大きくなるほど負荷が増えます。Green Software Foundation は、代わりに近似最近傍インデックスを使うことを勧めています。
  • 大きすぎる文脈。「念のため」に長い文章を20件取り出すと、入力トークンが何倍にもなります。Epoch AI の推計では、約 0.3 Wh の一般的な問い合わせが、10,000トークンの入力では約 2.5 Wh に増えます。
  • すべてを作り直す。変わった文書がわずかなのに、毎晩、文書ストア全体を埋め込み直すことです。

最も効果が大きいのは何ですか?

検索の質を上げて、モデルに必要な文脈を減らすことです。よいチャンク分割、リランキングの段階、メタデータ(日付、部署、製品)による絞り込みがあれば、短い文章3件で長い文章15件分の役目を果たせます。文脈がよくなれば、より小さな生成モデルでも同じくらいよく答えられることがよくあります。小さな AI モデルの選び方をご覧ください。

よくある間違い

  • 大きな埋め込みモデルを使う。自分のデータでは小さなモデルでも同じくらいよく検索できるかもしれません。両方を試しましょう。
  • 評価用データセットがない。検索の品質(正しい文章が返ってきたか)を、回答の品質とは別に測りましょう。
  • 何もキャッシュしない。よくある質問は回答を再利用できます。キャッシュの使い方をご覧ください。

生成し直すのではなく再利用するという、より大きな考え方については、生成よりオーケストレーションををお読みください。

出典

  1. Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
  2. Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
  3. How much energy does ChatGPT use?, Epoch AI (2025)

参加する

AI が地球に与える影響を減らすために

新しいガイド、資金の公募、ディレクトリの掲載情報を、月に1回ほどメールでお届けします。または、製品、講座、PhD、研究をディレクトリに追加してください。

トラッキングなし。ワンクリックで配信停止できます。 その他の参加方法 · プライバシー