要点
すべての問い合わせを保存済みのすべてのベクトルと比べるのではなく、近似最近傍インデックスを使いましょう。長い文章をたくさん取り出すのではなく、短く関連性の高い文章を少しだけ取り出し、変更のあった内容だけを埋め込み直します。そのうえで、よい文脈から十分に答えられる最も小さな生成モデルを使います。検索システムの無駄の大半は、総当たりの検索と大きすぎるプロンプトから生じます。
手順
- 総当たりのベクトル比較を、近似最近傍インデックスに置き換えます。
- 文書を短いチャンクに分け、上位の少数だけを取り出します。
- インデックス全体を作り直すのではなく、新しい内容や変更された内容だけを埋め込み直します。
- 回答ごとの入力トークン数を記録し、品質を高めない文脈は削ります。
- 検索の品質がよくなったら、より小さな生成モデルを試します。
検索は、モデルが読む量を増やすのではなく、減らすためのものです。よくできた検索拡張生成(RAG)システムは、関連する文章を少しだけすばやく見つけ、それだけをモデルに渡します。
RAG はどこでエネルギーを無駄にしていますか?
- 総当たりの検索。問い合わせを保存済みのすべての埋め込みと1つずつ比べると、コレクションが大きくなるほど負荷が増えます。Green Software Foundation は、代わりに近似最近傍インデックスを使うことを勧めています。
- 大きすぎる文脈。「念のため」に長い文章を20件取り出すと、入力トークンが何倍にもなります。Epoch AI の推計では、約 0.3 Wh の一般的な問い合わせが、10,000トークンの入力では約 2.5 Wh に増えます。
- すべてを作り直す。変わった文書がわずかなのに、毎晩、文書ストア全体を埋め込み直すことです。
最も効果が大きいのは何ですか?
検索の質を上げて、モデルに必要な文脈を減らすことです。よいチャンク分割、リランキングの段階、メタデータ(日付、部署、製品)による絞り込みがあれば、短い文章3件で長い文章15件分の役目を果たせます。文脈がよくなれば、より小さな生成モデルでも同じくらいよく答えられることがよくあります。小さな AI モデルの選び方をご覧ください。
よくある間違い
- 大きな埋め込みモデルを使う。自分のデータでは小さなモデルでも同じくらいよく検索できるかもしれません。両方を試しましょう。
- 評価用データセットがない。検索の品質(正しい文章が返ってきたか)を、回答の品質とは別に測りましょう。
- 何もキャッシュしない。よくある質問は回答を再利用できます。キャッシュの使い方をご覧ください。
生成し直すのではなく再利用するという、より大きな考え方については、生成よりオーケストレーションををお読みください。
出典
- Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- How much energy does ChatGPT use?, Epoch AI (2025)
関連
省エネのためには RAG とファインチューニングのどちらを選ぶべき?
検索(RAG)とファインチューニングの使い分けです。変化する事実には検索、スキルや文体にはファインチューニング。取り違えるとエネルギーを無駄にします。
チャットボットが毎回会話全体を送り直すのを止めるには?
チャットボットの文脈を小さく保つ方法です。過去のやり取りに上限を設け、古いメッセージを要約し、関連部分だけを取り出し、固定プロンプトをキャッシュします。
生成よりオーケストレーション
検証済みの部品を再利用し、要求を対応できる最小のモデルに振り分けることで AI のエネルギー使用量をどう減らせるか、現時点での根拠とあわせて解説します。
パイプラインの読み込みを減らすには AI の学習データをどう保存すればいい?
列指向やバイナリの形式、パーティション分割、一度きりの前処理で、AI パイプラインが学習データの読み込みと解析に使うエネルギーを減らす方法です。