要点
多くのチャット機能は、やり取りのたびに会話全体をモデルに送り直すので、入力はメッセージごとに増えていきます。送る過去のやり取りの数に上限を設け、古いものは短いメモに要約し、関係のある過去のメッセージや文書だけを取り出し、固定のシステムプロンプトはキャッシュしましょう。長い入力は、短い入力よりはるかに多くのエネルギーを使います。
手順
- 増え方が見えるように、やり取りごとの入力トークン数を記録します。
- そのまま送るのは直近の数回のやり取りだけにします。
- 古いやり取りは、随時更新する短い要約に置き換えます。
- 過去のメッセージや文書は、新しい質問に関係がある場合だけ取り出します。
- 固定のシステムプロンプトと共有の文脈には、プロンプトキャッシュを使います。
モデルには、これまでに話したすべてではなく、そのやり取りに必要なものだけを送りましょう。 際限なく増える文脈は、チャット機能で最もよくある隠れたコストの 1 つです。
なぜ重要なのですか?
エネルギーは、モデルが読むテキストの量とともに増えます。Delavande、Pierrard、Luccioni は、エネルギーがプロンプトと生成の長さに比例して増えることを確かめました。Epoch AI は、約 0.3 Wh の一般的な質問が、入力が 10,000 トークンだと約 2.5 Wh、100,000 トークンだと 40 Wh 近くに増えると推定しています。毎回すべてのやり取りを送り直す長いサポートチャットは、誰も気づかないうちに高い方へ向かっていくことがあります。
文脈を小さく保つにはどうすればよいですか?
- スライディングウィンドウ。 直近の数回のやり取りは、一字一句そのまま残します。
- 随時更新する要約。 数回のやり取りごとに、小さなモデル(または自前のコード)を使って、古い履歴を決定事項と事実の短いメモに圧縮します。
- 検索(リトリーバル)。 過去のメッセージや文書を保存し、新しい質問に関係のあるものだけを取り出します。
- プロンプトキャッシュ。 固定の指示については、キャッシュの使い方をご覧ください。
- やり直す。 文脈をまっさらにして始める「新しい話題」ボタンを用意します。
よくある間違い
- 関係のある部分を取り出す代わりに、同じ文書を毎回添付し直すこと。
- 重要な事実が抜け落ちる要約。 要約したあとも回答が正しいままか試しましょう。
- 測らないこと。 入力トークンの記録がなければ、増え方は見えません。
一般向けのツールでも、利用者は同じことができます。AI との長いチャットでエネルギーを無駄にしない方法をご覧ください。そのほかの習慣については、AI を効率よく使うをお読みください。
出典
- How much energy does ChatGPT use?, Epoch AI (2025)
- Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
- What are tokens and how to count them?, OpenAI Help Center (2025)
関連
キャッシュで LLM 呼び出しのエネルギーを減らすには?
LLM の処理を減らす2種類のキャッシュを紹介します。繰り返す文脈にはプロンプトキャッシュ、同じ質問には自前のキャッシュを使います。
AI との長いチャットでエネルギーを無駄にしないには?
とても長い AI チャットがメッセージごとにコストを増やす理由と、新しいチャット、短い要約、必要な部分だけの貼り付けで軽く保つ習慣です。
LLM の出力の長さを制限するには?
開発者が LLM の出力を抑える方法です。最大トークン数、形式と長さの指定、停止シーケンス、構造化出力、途中で切れた回答の扱いを説明します。
AI を効率よく使う:日々の習慣
AI を使うときのエネルギーを減らす日々の習慣。明確なプロンプト、再生成の繰り返しを減らすこと、画像や動画の慎重な利用、キャッシュ、初期設定をオフにすることを紹介します。