greenai.guide

ホーム › どうすれば…? › 投機的デコーディングで大きなモデルを速くするには?

どうすれば…?

投機的デコーディングで大きなモデルを速くするには?

更新日 · 1分で読めます

要点

大きなモデルを、同じファミリーの小さな下書きモデルと組み合わせましょう。下書きモデルが複数のトークンを提案し、大きなモデルがそれらを 1 回の処理で確認して、同意したものだけを残します。出力は大きなモデル単独の場合と同じで、元の研究では推論が 2〜3 倍速くなりました。利用している推論基盤が対応しているか確認し、速度だけでなくリクエストあたりのエネルギーを測りましょう。

手順

  1. 使っている推論ライブラリや推論エンジンが、投機的デコーディング(assisted decoding)に対応しているか確認します。
  2. 大きなモデルとトークナイザーが共通の、小さな下書きモデルを選びます。
  3. 機能をオンにし、自分の処理内容で出力が一致することを確認します。
  4. 実際のバッチサイズで、リクエストあたりのエネルギーとレイテンシを測ります。
  5. レイテンシだけでなく、リクエストあたりのエネルギーが下がる場合に限って使い続けます。

推測は小さなモデルに任せ、確認は大きなモデルに任せましょう。 大きなモデルはトークンを 1 つずつ生成するので、1 語ごとに大きなハードウェアが働き続けます。投機的デコーディングを使うと、複数のトークンをまとめて確認できます。

どのような仕組みですか?

小さな下書きモデルが、次の数トークンをすばやく提案します。続いて大きなターゲットモデルが、それらすべてを 1 回の順伝播で確認し、自分でも生成したはずのものを受け入れます。一致しない箇所では自分のトークンに置き換え、下書きが再開されます。Leviathan、Kalman、Matias は、T5-XXL モデルで出力を変えずに 2〜3 倍の高速化を示しました。Hugging Face のドキュメントは、確認の処理によって同じ出力が生成されることが保証されるため、精度の低下はないと述べています。

変種には、プロンプトに含まれるテキストから下書きを作るプロンプトルックアップデコーディングがあります。編集や要約など、回答が入力を繰り返すタスクに向いています。

速くなればグリーンになるのですか?

必ずしもそうではありません。 モデルを 2 つ動かすことになり、大きなモデルは確認のための追加の処理をします。リクエストあたりのエネルギーが下がるかどうかは、下書きが受け入れられる頻度、バッチサイズ、ハードウェアによります。GreenCode の研究者は llama.cpp で、エネルギーと速度が異なる結果を示すことがあると確かめました。ある変更では、速度の向上は 3% だけでしたが、GPU のエネルギーは 4.7% 減りました。エネルギーを直接測りましょう。

よくある間違い

  • 大きすぎる下書きモデル。 全体が遅くなります。
  • 下書きモデルとターゲットモデルでトークナイザーが異なること。
  • 本番と異なる処理内容で試すこと。 受け入れ率はタスクによって変わります。

そのほかの推論の手法については、モデルを提供するエネルギーを減らす方法と効率的な学習と推論をご覧ください。

出典

  1. Fast inference from transformers via speculative decoding, Leviathan, Kalman and Matias, ICML 2023 (2022)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)

参加する

AI が地球に与える影響を減らすために

新しいガイド、資金の公募、ディレクトリの掲載情報を、月に1回ほどメールでお届けします。または、製品、講座、PhD、研究をディレクトリに追加してください。

トラッキングなし。ワンクリックで配信停止できます。 その他の参加方法 · プライバシー