greenai.guide

ホーム › どうすれば…? › キャッシュで LLM 呼び出しのエネルギーを減らすには?

どうすれば…?

キャッシュで LLM 呼び出しのエネルギーを減らすには?

更新日 · 1分で読めます

要点

2つの層を使いましょう。プロバイダーのプロンプトキャッシュは、長いシステムプロンプトや共有文書など、固定された先頭部分の処理を再利用します。そのため、変わらない内容を先頭に置きます。自前の応答キャッシュは、同一のリクエストへの回答を保存し、モデルを再び呼び出さずに済むようにします。どちらも、適切な有効期限を設定すれば、計算量、コスト、待ち時間を減らせます。

手順

  1. 指示や参考テキストなど、変わらない内容をすべてのプロンプトの先頭に置きます。
  2. プロバイダーのドキュメントに従って、プロンプトキャッシュを有効にするか、対象部分を指定します。
  3. 同一の入力に対する応答全体を、自分のアプリケーション内でキャッシュします。
  4. 元になる回答が変わる頻度に合わせて、有効期限を設定します。
  5. キャッシュのヒット率と入力トークン数を記録し、削減効果を確認できるようにします。

いちばん安いモデル呼び出しは、呼び出さないことです。その次に安いのは、すでに済んだ処理を再利用することです。 キャッシュはその両方を実現します。

プロンプトキャッシュとは?

プロバイダーがプロンプトの先頭部分を処理した結果を保存し、以後の呼び出しで再利用する仕組みです。 Anthropic のドキュメントによると、プロンプトキャッシュは共通の要素を含むプロンプトの「処理時間とコストを大幅に削減」します。キャッシュの読み出しは通常の入力トークンの10分の1の料金で、キャッシュは初期設定で5分間保持されます。OpenAI は、対応モデルでプロンプトキャッシュを初期設定で有効にしています。どちらも先頭部分が完全に一致する場合にしか働かないため、順序が重要です。変わらない指示や文書を先に、変わる質問を最後に置きます。

応答キャッシュとは?

モデルの回答を保存しておき、同じリクエストが再び来たときにそれを返す仕組みです。 よくある質問、繰り返し出てくる項目の分類、同じ質問を何度もするエージェントに向いています。Green Software Foundation のエージェントのオーケストレーションに関するパターンでも、まさにこの方法で冗長なモデル呼び出しや繰り返しの計算を減らすことを勧めています。

同一ではなく似た質問に一致させる「セマンティック」キャッシュを使うチームもあります。より多くを削減できますが、微妙に異なる質問に誤った回答を返すおそれがあるため、慎重にテストしてください。

よくある間違い

  • プロンプトの先頭にタイムスタンプやユーザー名を置く。 先頭部分が変わり、キャッシュが効かなくなります。
  • 永久にキャッシュする。 回答が古くなる速さに合った有効期限を設定しましょう。
  • 測定しない。 ヒット率がわからなければ、キャッシュが役立っているかどうかわかりません。

作り直すのではなく再利用するという、より広い考え方については、生成よりもオーケストレーションをお読みください。

出典

  1. Prompt caching, Anthropic, Claude platform documentation (2026)
  2. Prompt caching, OpenAI API documentation (2026)
  3. Optimize agent orchestration to reduce unnecessary model calls, Green Software Foundation, Green Software Patterns (2025)

参加する

AI が地球に与える影響を減らすために

新しいガイド、資金の公募、ディレクトリの掲載情報を、月に1回ほどメールでお届けします。または、製品、講座、PhD、研究をディレクトリに追加してください。

トラッキングなし。ワンクリックで配信停止できます。 その他の参加方法 · プライバシー