greenai.guide

ホーム › どうすれば…? › チャットボットが毎回会話全体を送り直すのを止めるには?

どうすれば…?

チャットボットが毎回会話全体を送り直すのを止めるには?

更新日 · 1分で読めます

要点

多くのチャット機能は、やり取りのたびに会話全体をモデルに送り直すので、入力はメッセージごとに増えていきます。送る過去のやり取りの数に上限を設け、古いものは短いメモに要約し、関係のある過去のメッセージや文書だけを取り出し、固定のシステムプロンプトはキャッシュしましょう。長い入力は、短い入力よりはるかに多くのエネルギーを使います。

手順

  1. 増え方が見えるように、やり取りごとの入力トークン数を記録します。
  2. そのまま送るのは直近の数回のやり取りだけにします。
  3. 古いやり取りは、随時更新する短い要約に置き換えます。
  4. 過去のメッセージや文書は、新しい質問に関係がある場合だけ取り出します。
  5. 固定のシステムプロンプトと共有の文脈には、プロンプトキャッシュを使います。

モデルには、これまでに話したすべてではなく、そのやり取りに必要なものだけを送りましょう。 際限なく増える文脈は、チャット機能で最もよくある隠れたコストの 1 つです。

なぜ重要なのですか?

エネルギーは、モデルが読むテキストの量とともに増えます。Delavande、Pierrard、Luccioni は、エネルギーがプロンプトと生成の長さに比例して増えることを確かめました。Epoch AI は、約 0.3 Wh の一般的な質問が、入力が 10,000 トークンだと約 2.5 Wh、100,000 トークンだと 40 Wh 近くに増えると推定しています。毎回すべてのやり取りを送り直す長いサポートチャットは、誰も気づかないうちに高い方へ向かっていくことがあります。

文脈を小さく保つにはどうすればよいですか?

  • スライディングウィンドウ。 直近の数回のやり取りは、一字一句そのまま残します。
  • 随時更新する要約。 数回のやり取りごとに、小さなモデル(または自前のコード)を使って、古い履歴を決定事項と事実の短いメモに圧縮します。
  • 検索(リトリーバル)。 過去のメッセージや文書を保存し、新しい質問に関係のあるものだけを取り出します。
  • プロンプトキャッシュ。 固定の指示については、キャッシュの使い方をご覧ください。
  • やり直す。 文脈をまっさらにして始める「新しい話題」ボタンを用意します。

よくある間違い

  • 関係のある部分を取り出す代わりに、同じ文書を毎回添付し直すこと。
  • 重要な事実が抜け落ちる要約。 要約したあとも回答が正しいままか試しましょう。
  • 測らないこと。 入力トークンの記録がなければ、増え方は見えません。

一般向けのツールでも、利用者は同じことができます。AI との長いチャットでエネルギーを無駄にしない方法をご覧ください。そのほかの習慣については、AI を効率よく使うをお読みください。

出典

  1. How much energy does ChatGPT use?, Epoch AI (2025)
  2. Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
  3. What are tokens and how to count them?, OpenAI Help Center (2025)

参加する

AI が地球に与える影響を減らすために

新しいガイド、資金の公募、ディレクトリの掲載情報を、月に1回ほどメールでお届けします。または、製品、講座、PhD、研究をディレクトリに追加してください。

トラッキングなし。ワンクリックで配信停止できます。 その他の参加方法 · プライバシー