# リクエストを小さな AI モデルに振り分けるには？

> 定型的なリクエストは小さなモデルに、難しいものだけを大きなモデルに振り分け、やり直しで節約分が消えないようルーターを調整する方法です。

Source: https://greenai.guide/ja/ハウツー/リクエストを小さな-ai-モデルに振り分けるには/  
Updated: 2026-11-19

## 要点

モデルの前にルーターを置きましょう。ルール、小さな分類器、またはまず小さなモデルを試し、確信度が低いかチェックに失敗したら上位に回すカスケードです。公開されているルーターの中には、品質を下げずにコストを半分以上減らした試験結果もあります。しきい値は自分のデータで調整し、呼び出しあたりではなく、成功した作業あたりのコストを測ってください。

## Steps

1. 実際のリクエストで評価用データセットをつくり、それぞれに合格基準を設けます。
2. 小さなモデルだけでどのくらいの割合が合格するかを測ります。
3. ルール、難易度の分類器、チェック付きのカスケードなど、ルーターの設計を選びます。
4. 評価用データセットで、上位に回すしきい値を調整します。
5. 上位への回付ややり直しも含めて、成功した作業あたりのコストとエネルギーを記録します。
6. どちらかのモデルが変わったら、調整し直します。

**ルーティングを使えば、大きなモデルの品質の大半を、小さなモデルに近いコストで得られます。**考え方は単純で、それぞれのリクエストを、うまく処理できそうな最も安いモデルに送ります。

## どの設計を使えばいいですか？ {#which-design-should-i-use}

- **ルール。**リクエストの種類、長さ、チャネルで振り分けます。わかりやすく、これで十分なことも多くあります。
- **難易度の分類器。**小さなモデルがリクエストの難しさを予測します。Ding らの Hybrid LLM の研究では、この方法で問い合わせを小さなモデルと大きなモデルに振り分け、コストと品質のバランスをとっています。
- **カスケード。**まず小さなモデルを試し、チェックに失敗するか確信度が低ければ、大きなモデルに渡します。Chen、Zaharia、Zou による FrugalGPT は、コスト削減のためのこうしたカスケードを研究しました。
- **学習型のルーター。**どのリクエストでどのモデルがうまくいったかを学習させます。RouteLLM の研究では、一部のケースで応答の品質を下げずにコストを半分以上減らしたと報告しています。

## よくある間違い {#common-mistakes}

- **呼び出しあたりで測る。**小さなモデルで失敗し、大きなモデルでやり直すと、最初から大きなモデルを使うより高くつくことがあります。数学者、計算機科学者、産業界が集まった 2026年の英国のグリーン AI サンドピット（集中討議型ワークショップ）では、エージェント型のシステムにおける現実のリスクとしてこの点が指摘されました。成功した作業あたりで測りましょう。
- **選択を利用者に押しつける。**ほとんどの人が無視するドロップダウンではなく、システムにルーティングを組み込みましょう。
- **設定したら放置する。**上位に回した割合を記録し、モデルが変わったら見直しましょう。

## 最も効果が大きいのは何ですか？ {#what-makes-the-biggest-difference}

**よい評価用データセットです。**実際の例と合格基準がなければ、しきい値を調整することも、節約を証明することもできません。つくり方は[適切なモデルを選ぶ](/ja/グッドプラクティス/用途に合ったモデルを選ぶ/)をお読みください。

## 出典

- [RouteLLM: learning to route LLMs with preference data](https://arxiv.org/abs/2406.18665), Ong et al., ICLR 2025 (2024)
- [FrugalGPT: how to use large language models while reducing cost and improving performance](https://arxiv.org/abs/2305.05176), Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- [Hybrid LLM: cost-efficient and quality-aware query routing](https://arxiv.org/abs/2404.14618), Ding et al., ICLR (2024)
