要点
モデルの前にルーターを置きましょう。ルール、小さな分類器、またはまず小さなモデルを試し、確信度が低いかチェックに失敗したら上位に回すカスケードです。公開されているルーターの中には、品質を下げずにコストを半分以上減らした試験結果もあります。しきい値は自分のデータで調整し、呼び出しあたりではなく、成功した作業あたりのコストを測ってください。
手順
- 実際のリクエストで評価用データセットをつくり、それぞれに合格基準を設けます。
- 小さなモデルだけでどのくらいの割合が合格するかを測ります。
- ルール、難易度の分類器、チェック付きのカスケードなど、ルーターの設計を選びます。
- 評価用データセットで、上位に回すしきい値を調整します。
- 上位への回付ややり直しも含めて、成功した作業あたりのコストとエネルギーを記録します。
- どちらかのモデルが変わったら、調整し直します。
ルーティングを使えば、大きなモデルの品質の大半を、小さなモデルに近いコストで得られます。考え方は単純で、それぞれのリクエストを、うまく処理できそうな最も安いモデルに送ります。
どの設計を使えばいいですか?
- ルール。リクエストの種類、長さ、チャネルで振り分けます。わかりやすく、これで十分なことも多くあります。
- 難易度の分類器。小さなモデルがリクエストの難しさを予測します。Ding らの Hybrid LLM の研究では、この方法で問い合わせを小さなモデルと大きなモデルに振り分け、コストと品質のバランスをとっています。
- カスケード。まず小さなモデルを試し、チェックに失敗するか確信度が低ければ、大きなモデルに渡します。Chen、Zaharia、Zou による FrugalGPT は、コスト削減のためのこうしたカスケードを研究しました。
- 学習型のルーター。どのリクエストでどのモデルがうまくいったかを学習させます。RouteLLM の研究では、一部のケースで応答の品質を下げずにコストを半分以上減らしたと報告しています。
よくある間違い
- 呼び出しあたりで測る。小さなモデルで失敗し、大きなモデルでやり直すと、最初から大きなモデルを使うより高くつくことがあります。数学者、計算機科学者、産業界が集まった 2026年の英国のグリーン AI サンドピット(集中討議型ワークショップ)では、エージェント型のシステムにおける現実のリスクとしてこの点が指摘されました。成功した作業あたりで測りましょう。
- 選択を利用者に押しつける。ほとんどの人が無視するドロップダウンではなく、システムにルーティングを組み込みましょう。
- 設定したら放置する。上位に回した割合を記録し、モデルが変わったら見直しましょう。
最も効果が大きいのは何ですか?
よい評価用データセットです。実際の例と合格基準がなければ、しきい値を調整することも、節約を証明することもできません。つくり方は適切なモデルを選ぶをお読みください。
出典
- RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
- FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)
関連
用途に合ったモデルを選ぶ
AI を適正なサイズで使う方法。小型・特化型モデルを使うべき場面、フロンティアモデルがコストに見合う場面、ルーティングの仕組み、AI を使わないほうがよい場面を解説します。
生成よりオーケストレーション
検証済みの部品を再利用し、要求を対応できる最小のモデルに振り分けることで AI のエネルギー使用量をどう減らせるか、現時点での根拠とあわせて解説します。
もっと小さい AI モデルを選ぶにはどうすればいい?
作業をうまくこなす最小の AI モデルを選ぶ方法です。品質基準を決め、小さい順に試し、エネルギー評価を確認し、大きいモデルは予備にします。
AI エージェントがトークンを無駄遣いしないようにするには?
AI エージェントのための実践的な歯止めです。停止条件、ステップとトークンの上限、ループの検出、文脈の削減、簡単なステップへの小さなモデルの利用を紹介します。