greenai.guide

ホーム › どうすれば…? › LLM の出力の長さを制限するには?

どうすれば…?

LLM の出力の長さを制限するには?

更新日 · 1分で読めます

要点

API の呼び出しで出力の最大長を設定し、プロンプトでほしい形式と長さを伝え、停止シーケンスや構造化出力を使って、作業が終わったところで生成が止まるようにしましょう。エネルギーはモデルが生成するトークンの数に応じて増えるので、出力を抑えることはどんなアプリケーションでも最も簡単な節約の1つです。

手順

  1. 機能ごとに役に立つ最長の回答を決め、それに合わせて API の最大出力トークン数を設定します。
  2. 「箇条書き3点」のように、プロンプトで形式と長さを指定します。
  3. コードが項目だけを必要とする場合は、JSON スキーマなどの構造化出力を使います。
  4. 回答に自然な終わりの目印がある場合は、停止シーケンスを追加します。
  5. 上限で途中で切れた回答を検出し、黙ってやり直すのではなく適切に処理します。

どれだけの量がほしいかを、モデルにも API にも伝えましょう。モデルはトークンを1つずつ生成し、その1つ1つに計算がかかります。

なぜ大切なのですか?

Delavande、Pierrard、Luccioni は、エネルギーが生成の長さに比例して増えること、そして大きなモデルはトークンあたりのエネルギーが多いだけでなく、返答も長くなりがちなことを明らかにしました。UNESCO とユニバーシティ・カレッジ・ロンドンは、プロンプトと応答を短くすればエネルギー使用量を半分以上減らせることを示しました。

どの設定を使えばいいですか?

  • 最大出力トークン数。主要な API にはどれもこのパラメータがあります。全体に1つの大きめの値を設定するのではなく、機能ごとに設定しましょう。
  • 指示。「1文で答えてください」や「カテゴリー名だけを返してください」は、上限だけを設けるよりうまくいきます。モデルが途中で切られるのではなく、短い回答を組み立てるからです。
  • 構造化出力。コードが項目を解析するなら、スキーマに沿った JSON を求め、文章は省きます。
  • 停止シーケンス。閉じタグなどの目印で生成を終わらせます。
  • 推論の深さ。モデルに思考や推論の設定がある場合は、テストに合格する最も低いレベルを使います。推論モードを使うべきときをご覧ください。

よくある間違い

  • 上限が厳しすぎて回答が途中で切れ、より高い上限で自動的にやり直す。長さを最初から適切にするより高くつきます。
  • 誰も読まない説明を求める。たとえば分類のパイプラインでの「理由を説明してください」です。
  • 機能ごとの出力トークン数を記録しない。最も冗長な機能が見えないままになります。

利用者側の習慣については、AI を効率よく使うをお読みください。

出典

  1. Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
  2. Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
  3. What are tokens and how to count them?, OpenAI Help Center (2025)

参加する

AI が地球に与える影響を減らすために

新しいガイド、資金の公募、ディレクトリの掲載情報を、月に1回ほどメールでお届けします。または、製品、講座、PhD、研究をディレクトリに追加してください。

トラッキングなし。ワンクリックで配信停止できます。 その他の参加方法 · プライバシー