greenai.guide

ホーム › どうすれば…? › リクエストを小さな AI モデルに振り分けるには?

どうすれば…?

リクエストを小さな AI モデルに振り分けるには?

更新日 · 1分で読めます

要点

モデルの前にルーターを置きましょう。ルール、小さな分類器、またはまず小さなモデルを試し、確信度が低いかチェックに失敗したら上位に回すカスケードです。公開されているルーターの中には、品質を下げずにコストを半分以上減らした試験結果もあります。しきい値は自分のデータで調整し、呼び出しあたりではなく、成功した作業あたりのコストを測ってください。

手順

  1. 実際のリクエストで評価用データセットをつくり、それぞれに合格基準を設けます。
  2. 小さなモデルだけでどのくらいの割合が合格するかを測ります。
  3. ルール、難易度の分類器、チェック付きのカスケードなど、ルーターの設計を選びます。
  4. 評価用データセットで、上位に回すしきい値を調整します。
  5. 上位への回付ややり直しも含めて、成功した作業あたりのコストとエネルギーを記録します。
  6. どちらかのモデルが変わったら、調整し直します。

ルーティングを使えば、大きなモデルの品質の大半を、小さなモデルに近いコストで得られます。考え方は単純で、それぞれのリクエストを、うまく処理できそうな最も安いモデルに送ります。

どの設計を使えばいいですか?

  • ルール。リクエストの種類、長さ、チャネルで振り分けます。わかりやすく、これで十分なことも多くあります。
  • 難易度の分類器。小さなモデルがリクエストの難しさを予測します。Ding らの Hybrid LLM の研究では、この方法で問い合わせを小さなモデルと大きなモデルに振り分け、コストと品質のバランスをとっています。
  • カスケード。まず小さなモデルを試し、チェックに失敗するか確信度が低ければ、大きなモデルに渡します。Chen、Zaharia、Zou による FrugalGPT は、コスト削減のためのこうしたカスケードを研究しました。
  • 学習型のルーター。どのリクエストでどのモデルがうまくいったかを学習させます。RouteLLM の研究では、一部のケースで応答の品質を下げずにコストを半分以上減らしたと報告しています。

よくある間違い

  • 呼び出しあたりで測る。小さなモデルで失敗し、大きなモデルでやり直すと、最初から大きなモデルを使うより高くつくことがあります。数学者、計算機科学者、産業界が集まった 2026年の英国のグリーン AI サンドピット(集中討議型ワークショップ)では、エージェント型のシステムにおける現実のリスクとしてこの点が指摘されました。成功した作業あたりで測りましょう。
  • 選択を利用者に押しつける。ほとんどの人が無視するドロップダウンではなく、システムにルーティングを組み込みましょう。
  • 設定したら放置する。上位に回した割合を記録し、モデルが変わったら見直しましょう。

最も効果が大きいのは何ですか?

よい評価用データセットです。実際の例と合格基準がなければ、しきい値を調整することも、節約を証明することもできません。つくり方は適切なモデルを選ぶをお読みください。

出典

  1. RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
  2. FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
  3. Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)

参加する

AI が地球に与える影響を減らすために

新しいガイド、資金の公募、ディレクトリの掲載情報を、月に1回ほどメールでお届けします。または、製品、講座、PhD、研究をディレクトリに追加してください。

トラッキングなし。ワンクリックで配信停止できます。 その他の参加方法 · プライバシー