要点
大きなモデルを、同じファミリーの小さな下書きモデルと組み合わせましょう。下書きモデルが複数のトークンを提案し、大きなモデルがそれらを 1 回の処理で確認して、同意したものだけを残します。出力は大きなモデル単独の場合と同じで、元の研究では推論が 2〜3 倍速くなりました。利用している推論基盤が対応しているか確認し、速度だけでなくリクエストあたりのエネルギーを測りましょう。
手順
- 使っている推論ライブラリや推論エンジンが、投機的デコーディング(assisted decoding)に対応しているか確認します。
- 大きなモデルとトークナイザーが共通の、小さな下書きモデルを選びます。
- 機能をオンにし、自分の処理内容で出力が一致することを確認します。
- 実際のバッチサイズで、リクエストあたりのエネルギーとレイテンシを測ります。
- レイテンシだけでなく、リクエストあたりのエネルギーが下がる場合に限って使い続けます。
推測は小さなモデルに任せ、確認は大きなモデルに任せましょう。 大きなモデルはトークンを 1 つずつ生成するので、1 語ごとに大きなハードウェアが働き続けます。投機的デコーディングを使うと、複数のトークンをまとめて確認できます。
どのような仕組みですか?
小さな下書きモデルが、次の数トークンをすばやく提案します。続いて大きなターゲットモデルが、それらすべてを 1 回の順伝播で確認し、自分でも生成したはずのものを受け入れます。一致しない箇所では自分のトークンに置き換え、下書きが再開されます。Leviathan、Kalman、Matias は、T5-XXL モデルで出力を変えずに 2〜3 倍の高速化を示しました。Hugging Face のドキュメントは、確認の処理によって同じ出力が生成されることが保証されるため、精度の低下はないと述べています。
変種には、プロンプトに含まれるテキストから下書きを作るプロンプトルックアップデコーディングがあります。編集や要約など、回答が入力を繰り返すタスクに向いています。
速くなればグリーンになるのですか?
必ずしもそうではありません。 モデルを 2 つ動かすことになり、大きなモデルは確認のための追加の処理をします。リクエストあたりのエネルギーが下がるかどうかは、下書きが受け入れられる頻度、バッチサイズ、ハードウェアによります。GreenCode の研究者は llama.cpp で、エネルギーと速度が異なる結果を示すことがあると確かめました。ある変更では、速度の向上は 3% だけでしたが、GPU のエネルギーは 4.7% 減りました。エネルギーを直接測りましょう。
よくある間違い
- 大きすぎる下書きモデル。 全体が遅くなります。
- 下書きモデルとターゲットモデルでトークナイザーが異なること。
- 本番と異なる処理内容で試すこと。 受け入れ率はタスクによって変わります。
そのほかの推論の手法については、モデルを提供するエネルギーを減らす方法と効率的な学習と推論をご覧ください。
出典
- Fast inference from transformers via speculative decoding, Leviathan, Kalman and Matias, ICML 2023 (2022)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
関連
本番環境でモデルを動かすエネルギーを減らすには?
自前で運用するモデルのリクエストあたりのエネルギーを減らす方法です。効率的なランタイム、バッチ処理、半精度、キャッシュ、検証済みのハードウェアを使います。
省エネのために AI へのリクエストをまとめて処理するには?
バッチ処理でアクセラレーターの稼働率を高め、回答あたりのエネルギーを減らす方法です。ライブの通信には連続バッチ処理を、オフライン作業にはキューでまとめた処理を使います。
AI の効率的な学習と推論
開発者と研究者向けに、AI のエネルギーを減らす技法を紹介します。枝刈り、スパース性、量子化、蒸留、KV キャッシュ、バッチ処理、混合精度、スケジューリングを扱います。
AI をより効率的にする数学
枝刈り、スパース性、スケッチング、ランダム行列理論、物理情報モデル。数学が AI に必要な計算、メモリ、エネルギーをどう減らすかを説明します。