要点
あらゆる回答、コード、画像を大規模モデルで一から生成するのは、AI の最も費用のかかる使い方です。オーケストレーションでは、AI を計画と選択に使い、テスト済みの部品から結果を組み立て、各ステップをそれをこなせる最も安いモデルに振り分けます。最も安いトークンは、生成しなかったトークンです。
要点
- 生成 AI で費用がかかるのは生成のステップです。既存のテスト済み部品を選んで再利用するほうがはるかに安く済みます。
- ルーティングは各要求をそれに対応できる最小のモデルに送ります。公表されたルーターは、品質をほとんど落とさずにコストを大きく下げています。
- 検索(リトリーバル)は文書やコードベースの関係する部分だけを渡すので、モデルが読むトークンが少なくなります。
- 検証済みの部品を再利用すると、セキュリティと保守にも役立ちます。1 回の修正が、その部品を使うすべての場所に届きます。
- ルーティングには落とし穴もあります。小さすぎるモデルは失敗し、大きなモデルで費用のかかるやり直しが必要になることがあります。
AI のフットプリントをめぐる議論の多くは、生成をどう安くするかを問います。より小さなモデル、より速いチップ、よりクリーンな電力です。別の問いもあります。そもそも生成がどれだけ必要なのか、という問いです。オーケストレーションは、生成を標準ではなく最後の手段として扱うことで、この問いに答えます。
「生成よりオーケストレーション」とはどういう意味ですか?
AI を使ってタスクを計画し部品を選び、結果の大部分をすでにあって確認済みのものから組み立てる、という意味です。 大規模モデルに新しいものを生成させるのは、適したものが何もない場合だけです。
人々が生成 AI に求めるものの多くは、新しいものではありません。ソフトウェアには、ログイン画面、ファイルのアップロード、日付の処理、データの検証といった同じパターンがあふれています。契約書は標準的な条項を使い回し、報告書は標準的な章立てを使い回します。これらを毎回新たに生成すると、そのたびにエネルギーのコストがかかり、少しずつ違うバージョンができて、それぞれに確認が必要になります。
オーケストレーションされたシステムは、よく運営されたエンジニアリングチームに近い動き方をします。
- 計画役が、タスクに何が必要かを見きわめます。
- 安価な分類器や検索が、合致する既存のテスト済み部品を見つけます。
- 本当に新しい部分だけを、それをこなせる最小のモデルで生成します。
- 新しく生成した部分はテストしてライブラリに加え、次の要求で再利用できるようにします。
このライブラリはキャッシュのように働きます。数学者、計算機科学者、産業界が参加した 2026 年の英国のグリーン AI サンドピット(集中討議型ワークショップ)では、このパターンが「最も安いトークンは、生成しなかったトークンである」という見出しのもとで議論されました。
なぜ再利用でエネルギーを節約できるのですか?
部品を取り出して手直しするコストは生成するコストのごく一部で、テスト済みの部品は手直しが少なくて済むからです。 トークン、つまり推論エネルギーの大部分が使われるのは生成の段階です。
AI が書いた出力のエネルギーコストは小さくありません。GreenCode プロジェクトのパートナー論文であるキングス・カレッジ・ロンドンの研究(Cheung ほか、2025 年)は、プログラミングの課題を手作業で解く場合と AI アシスタントを使って解く場合を比較しました。プログラミングコンテストの問題であった課題全体で平均すると、AI 支援によるコード生成は手作業の 32.72 倍のカーボンフットプリントがあり、課題が複雑になるほど差は広がりました。再利用は、まさにこのコストに切り込みます。
エネルギー以外の利点もあります。
- 品質。 検証済みの部品は一度テストされており、何度でも信頼して使えます。
- セキュリティ。 部品に欠陥が見つかっても、それが使われている場所がすべてわかり、1 回の修正ですべてに届きます。
- 保守。 共有部品で組み立てたコードベースは、似たものの重複だらけのコードベースより小さく、理解しやすくなります。
モデルのルーティングとは何ですか?
ルーティングは、各要求をそれに最も適したモデル、通常はうまく答えられそうな最小のモデルに送ることです。 簡単な要求は小さく安いモデルへ、難しい要求はより大きなモデルへ引き上げます。
公表された研究は、その可能性を示しています。
- FrugalGPT(Chen、Zaharia、Zou、2023 年)は、安いモデルから高いモデルへと順につなぎ、十分によい回答と判断された時点で止める方法をとり、最大 98% 低いコストで GPT-4 と同等の性能を得たと報告しました。
- RouteLLM(Ong ほか、2024 年)は、要求に強力なモデルが必要かどうかを判断するルーターを人間の好みのデータで訓練し、場合によっては品質を落とさずにコストを半分以上削減したと報告しました。
- Hybrid LLM(Ding ほか、2024 年)は、予測した難しさに応じて質問を小さなモデルと大きなモデルに振り分け、回答の品質を落とすことなく、大きなモデルの呼び出しを最大 40% 減らしました。
これらの研究はエネルギーを直接ではなくコストを測っています。しかし、同じ事業者と同じハードウェアであれば、大規模モデルで使うトークンが少ないほど、一般にエネルギーも少なくなります。適切なモデルを選ぶをご覧ください。
検索(リトリーバル)とは何で、なぜ役立つのですか?
検索は関係する情報を探し出し、それだけをモデルに渡すことです。モデルにすべてを読ませたり思い出させたりする必要がなくなります。 検索拡張生成(RAG)は、Lewis らが 2020 年に提案したもので、検索のステップと生成器を組み合わせます。
エネルギーの面で重要なのはトークン数です。文書やコードベース全体をモデルのコンテキストウィンドウに流し込むと、要求のたびにエネルギーがかかります。エネルギー効率の高いソフトウェアに関する欧州(ITEA)の研究プロジェクトである GreenCode は、小さなファインチューニング済みモデルや、対応できる最小の部品へのルーティングとあわせて、コードベースのインデックスからの検索を使い、「トークン数がリポジトリではなくタスクを反映する」ようにしています。
GreenCode の取り組みから何がわかりますか?
AI を使うコストは数えなければならないこと、そしてエージェントがどう動くかは、どのモデルを使うかと同じくらい重要だということです。 2 本のパートナー論文がこれを示しています。
- EnergyBench(Ionescu、Jensen、Thomsen、2025 年)は、AI が生成したコードを、正しさと実行時に使うエネルギーの両面で評価します。プロンプトの言い回しによって、生成されたコードのエネルギー効率が場合によっては最大 91.9% 向上しうる一方、精度が犠牲になることも多いとわかりました。グリーンなコードを求めるプロンプトだけでは、確実な解決策にはなりません。
- GreenCode Constitution(Kapenekakis ほか、2026 年)は、コーディングエージェントに、まず正しさ、次に 37 のエネルギーのアンチパターンという、文書にした原則を与え、変更のたびにその前後でエネルギーを測らせました。すでに高度に調整された推論エンジンである llama.cpp で、GPU のエネルギーを 4.7% 削減しました。エネルギーの節約は速度の向上を上回りました。速いことが常によりグリーンだとは限らないので、エネルギーは直接測る必要があるということを思い出させてくれます。
GreenCode 自身のパイプラインもオーケストレーションの原則を当てはめています。小さなタスク特化型モデル、検索、ルーティングを優先し、事前評価を行って、推論コストに見合わないジョブは実行しないようにしています。
何がうまくいかない可能性がありますか?
ルーティングと再利用でエネルギーを節約できるのは、うまく選べた場合だけです。 主なリスクは次のとおりです。
- 小さすぎる選択。 小さすぎるモデルは失敗することがあり、大きなモデルでのやり直しは、最初からそちらを使うより高くつきます。1 回の失敗がその後の多くのステップを狂わせるエージェント型のシステムでは、これがさらに重要になります。しきい値の設定は本物の設計課題です。
- 古くなったライブラリ。 部品には担当者、テスト、更新が必要です。そうでないと、再利用によって古い誤りが広がります。
- 隠れたコスト。 分類器、インデックス、検索のステップもエネルギーを使います。通常は生成よりはるかに安いのですが、これらも測るべきです。
- リバウンド。 AI が安くなると、AI の利用が増えます。効率は充足ではないをご覧ください。
次にすること
- 生成する前に探しましょう。テスト済みの部品、テンプレート、以前の回答がすでにありませんか?
- 要求を難しさで振り分けましょう。標準では小さなモデルを使い、必要に応じて引き上げます。AI を効率よく使うをご覧ください。
- 文書全体を貼り付けるのではなく、検索を使ってプロンプトを短く保ちましょう。
- 検証済みの出力のライブラリを、テストと担当者つきで管理し、使いながら追加していきましょう。
- エネルギーやトークンは、要求ごとではなく、やり直しを含めて完了したタスクごとに測りましょう。
- 複数ステップのエージェントを動かしている場合は、エージェント型 AI とトークンの無駄をお読みください。
よくある質問
AI におけるオーケストレーションとは何ですか?
1 つの大規模モデルに回答全体を生成させるのではなく、複数のモデル、ツール、保存済みの部品を連携させてタスクを完了させることです。計画役が何が必要かを決め、作業の大部分はより安い部分が担います。
モデルのルーティングとは何ですか?
各要求を、それに最も適したモデルに送ることです。通常は、うまく答えられそうな最小で最も安いモデルを選び、必要なときだけより大きなモデルに引き上げます。
ルーティングで品質は下がりますか?
公表されたルーティングシステムは、最も強力なモデルの品質の大部分を保ちながら、大幅なコスト削減を報告しています。ただし結果は、タスクと、ルーターが難しさをどれだけうまく判断できるかによって変わります。
出典
- FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
- Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- Green optimised generative AI, GreenCode (2026)
- Green AI and energy-aware computing, GreenCode (2026)
- Comparative analysis of carbon footprint in manual vs. LLM-assisted code development, Cheung, Kaul, Jahangirova, Mousavi and Zie, ResponsibleSE 2025 (ACM) (2025)
- EnergyBench: holistic benchmark for correct and energy-efficient LLM-generated code, Ionescu, Jensen and Thomsen, FLTA 2025 (2025)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
関連
用途に合ったモデルを選ぶ
AI を適正なサイズで使う方法。小型・特化型モデルを使うべき場面、フロンティアモデルがコストに見合う場面、ルーティングの仕組み、AI を使わないほうがよい場面を解説します。
AI を効率よく使う:日々の習慣
AI を使うときのエネルギーを減らす日々の習慣。明確なプロンプト、再生成の繰り返しを減らすこと、画像や動画の慎重な利用、キャッシュ、初期設定をオフにすることを紹介します。
エージェント型 AI とトークンの無駄
AI エージェントがチャットの何倍ものトークンとエネルギーを使う理由、ループが無駄を生む仕組み、エージェントを適正規模に保つための安全策を解説します。
AI をより効率的にする数学
枝刈り、スパース性、スケッチング、ランダム行列理論、物理情報モデル。数学が AI に必要な計算、メモリ、エネルギーをどう減らすかを説明します。