greenai.guide

ホーム › 記事 › AI をより効率的にする数学

記事

AI をより効率的にする数学

更新日 · 2分で読めます

要点

AI が使うエネルギーの多くは、タスクにとって必要のない計算とデータの移動に費やされています。枝刈り、スパース性、ランダム化スケッチング、ランダム行列理論、構造を組み込んだモデルといった数学的な手法は、そうした冗長性を取り除き、多くの場合、精度をほとんど、あるいはまったく落としません。ただし、エネルギーが節約されるのは、その節約が測定され、より大きなモデルにそのまま費やされない場合に限られます。

要点

  • 大規模なニューラルネットワークはパラメーターが過剰であり、学習後に枝刈りをすれば、精度をほとんど落とさずに重みの大部分を取り除けます。
  • スパース性がエネルギーを節約するのは、ハードウェアとソフトウェアがゼロを飛ばせる場合だけです。そうでなければ、紙の上だけの節約です。
  • データの移動は演算より多くのエネルギーを要することが多いため、スケッチングや IO を意識したアテンションなど、メモリのやり取りを減らす手法が重要です。
  • 既知の物理法則や対称性をモデルに組み込むと、必要なパラメーターとデータを減らせます。
  • 古典的な数値計算法のほうがグリーンな答えになることもあり、ハイブリッドなパイプラインでは、役立つ部分にだけ小さなネットワークを使えます。

ニューラルネットワークが使うエネルギーの大部分は、2 つのことに費やされています。演算と、メモリとプロセッサーの間で数値を移動させることです。数学はその両方を減らすことができます。この記事では、主な手法を、その根拠となる公表論文とともにわかりやすく説明し、それぞれがどこで効果を失うかも示します。

数学者、コンピューター科学者、産業界が集まった 2026 年の英国のグリーン AI サンドピット(集中討議型ワークショップ)は、次の問いを中心に据えました。需要が増える中で、数理科学は AI に必要なエネルギーと資源をどう減らせるのか、という問いです。以下の手法は、そこで最も多く取り上げられたもので、公表されている根拠と照らし合わせて紹介します。

取り除ける冗長性があるのはなぜですか?

大規模なモデルは、タスクに厳密に必要な大きさを上回っています。大きいほうが学習させやすいからです。学習は高次元の空間のほうがうまくいきますが、学習が終われば、重みの多くはほとんど役に立っていません。

そのため、3 種類の節約の余地が生まれます。重みを減らすこと(枝刈り)、ある時点で働いている値を減らすこと(スパース性)、そしてデータの移動を減らすこと(スケッチングとメモリを意識したアルゴリズム)です。4 つ目の種類は、既知の構造をモデルに組み込むことで、そもそも冗長性を生まないようにするものです。

枝刈りとは何で、どれだけ取り除けるのですか?

枝刈りは、寄与の最も小さい重みを削除し、その後ネットワークを回復させます。Han らは 2015 年に、枝刈りによって、画像モデル AlexNet のパラメーターを 9 分の 1 に、VGG-16 のパラメーターを 13 分の 1 に、精度を落とさずに減らせることを示しました。

その後の研究で、この考え方はさらに洗練されました。

  • 宝くじ仮説(Frankle と Carbin、2019)は、大きなネットワークの中には、適切な初期値から学習させれば元のネットワークと同じ精度に達する、はるかに小さなサブネットワークが含まれていることを見いだしました。
  • SparseGPT(Frantar と Alistarh、2023)は、非常に大きな言語モデルを、再学習なしに一度で 50% 以上のスパース性まで枝刈りし、パープレキシティ(予測の難しさの指標)の増加はわずかでした。
  • 300 本を超える論文を調べた Hoefler らの 2021 年のサーベイは、枝刈りがうまくいく場合といかない場合についての標準的な手引きです。

スパース性は本当にエネルギーを節約するのですか?

ゼロが飛ばされる場合に限ります。80% がゼロの行列でも、ハードウェアがすべての要素を掛け算すれば、コストは全部かかります。非構造的スパース性(ゼロがどこにでも散らばっている状態)と、構造的スパース性(ブロック、チャネル、パターン単位でまとまったゼロ)を区別すると役に立ちます。後者のほうが、標準的なチップではるかに活用しやすいのです。

スパース性を見つけられる場所は 2 つあります。

  • 重みの中。枝刈りによって生じます。
  • 活性化の中。活性化とは、ある入力に対してネットワークを流れる値のことです。Kurtz ら(2020)は、ReLU 活性化関数のしきい値を上げると、はるかに多くの活性化がちょうどゼロになり、推論時にそれを飛ばせることを示しました。Mirzadeh ら(2024)は、ReLU 活性化を使う大規模言語モデルでも同じ効果を活用して計算を減らせると論じました。

活性化のスパース性は動的です。どの値がゼロになるかは、入力ごとに変わります。そのためハードウェアで活用するのが難しく、これが、サンドピットでハードウェアとソフトウェアの協調設計を、後回しにするものではなく数学の一部として扱った理由の一つです。

データの移動がそれほど重要なのはなぜですか?

数値をメモリから取り出すほうが、その数値で演算するよりも多くのエネルギーを要することがあるからです。移動させるデータの少ないアルゴリズムは、計算の少ないアルゴリズムよりも多くを節約することがよくあります。

この問題に取り組む手法は 2 つの系統に分けられます。

  • ランダム化スケッチング。スケッチとは、大きな行列をはるかに小さくランダムに射影したもので、必要な性質を保っています。Halko、Martinsson、Tropp の 2011 年の論文と、Martinsson と Tropp の 2020 年のサーベイは、ランダム化数値線形代数の理論をまとめたもので、こうした近似について証明可能な誤差の上限を与えます。ニューラルネットワークに応用すると、大きな中間結果をチップの外に移す前に圧縮できます。
  • IO を意識したアルゴリズム。FlashAttention(Dao ら、2022)は、標準的な方法とまったく同じアテンションの結果を計算しますが、作業を組み替えて、GPU の大きく遅いメモリと小さく速いメモリの間の読み書きを減らします。節約は近似からではなく、処理の段取り(スケジューリング)から生まれます。

ランダム行列理論は何をもたらすのですか?

ランダム行列理論は、大きなランダム行列がどうふるまうかを記述します。ニューラルネットワークの重みは、学習の開始時にはまさにそうした行列です。そのため数学者は、学習させる前にネットワークの性質を予測できます。

Pennington と Worah(2017)は、これを使って、幅の広いネットワークを信号がどう伝わるかを分析しました。Martin と Mahoney(2021)は、学習済みの重み行列のスペクトルを調べ、層がどれだけうまく学習したかを示すパターンを見つけました。この種の結果は、多くの変種を学習させる試行錯誤をせずに、スパース性の水準を決めたり、必要以上に大きい層を見つけたりするのに役立ちます。

構造でデータやパラメーターを置き換えられますか?

はい、構造がわかっている場合には。問題が物理法則や対称性に従うのであれば、その知識を組み込んだモデルは、それをデータから学ぶ必要がありません。

  • 物理情報ニューラルネットワーク(Raissi、Perdikaris、Karniadakis、2019)は、支配方程式を学習の目的関数に加えます。そのため、ネットワークは物理的にありえない答えを出すと罰せられます。
  • 幾何学的深層学習(Bronstein ら、2021)は、回転や置換などの対称性を尊重するネットワークを設計します。そのため、必要なパラメーターと例が少なくて済みます。
  • アルゴリズム展開(アンローリング)(Monga、Li、Eldar、2021)は、古典的な反復アルゴリズムの各ステップをネットワークの層に変えます。これにより、小さく解釈しやすいモデルが得られます。

サンドピットで繰り返し取り上げられた関連する考え方が、ハイブリッドなパイプラインです。古典的な手法や物理に基づく手法は得意なステップに残し、学習に向いた部分、たとえばシミュレーションの中の計算コストの高い 1 つの構成要素の代理モデルにだけ、小さなネットワークを使います。最もグリーンな答えが、既存の数値計算法で、ニューラルネットワークをまったく使わないことである場合もあります。

自動微分と量子化はどこに位置づけられますか?

自動微分(AD)はプログラムの正確な導関数を計算するもので、学習を動かすエンジンです。Baydin らの 2018 年のサーベイが説明しているように、誤差逆伝播法はリバースモードの AD です。効率的な AD はそれ自体がグリーン AI にとって重要であり、枝刈りを意識した学習や、微分可能なエネルギーのペナルティといった技法を可能にしています。

量子化は、数値をより少ないビット数で保存します。たとえば、32 ビット浮動小数点数の代わりに 8 ビット整数を使います。Jacob ら(2018)は、整数演算だけで推論できるようにネットワークを学習させる方法を示しました。これにより、演算あたりのメモリとエネルギーが減ります。ビット数が少なければ、移動させるデータも少なくなります。

新しいモデルを学習させる代わりに、モデルを再利用できますか?

多くの場合、できます。Wortsman ら(2022)は、同じモデルをファインチューニングした複数の版の重みを平均した「モデルスープ」が、推論時の追加コストなしに精度を高められることを示しました。既存のモデルを統合したり適応させたりすれば、ゼロから学習させるコストを繰り返さずに済みます。生成よりオーケストレーションでは、この再利用の考え方をさらに進めています。

限界は何ですか?

効率の向上は本物ですが、自動的に節約になるわけではありません。上のすべての手法に、3 つの注意点があてはまります。

  • 紙の上の節約(パラメーターや演算の削減)は、実際のハードウェアでエネルギーを測定して確かめなければなりません。AI のエネルギーを測定するをご覧ください。
  • 精度は、ベンチマークの平均だけでなく、実際のタスクで確認しなければなりません。
  • 安くなった計算は、より多くの計算に使われる傾向があります。このリバウンド効果については、効率は充足ではないで説明しています。

次にすること

  • モデルを学習またはファインチューニングするなら、まず学習後の枝刈りと量子化を試してください。最も安く得られる成果です。効率的な学習と推論をご覧ください。
  • スパース性を当てにする前に、使っているハードウェアとライブラリが実際にそれを活用しているかを確認します。
  • ニューラルネットワークに手を伸ばす前に、古典的な手法やハイブリッドで、すでにその問題が解けないかを検討します。
  • どんな変更でも、実際に使うハードウェアで、変更の前後にエネルギーを測定します。
  • 研究者の方は、研究と博士課程の一覧で、効率的な AI に関する資金付きのプロジェクトや博士課程を探し、研究者向けガイドもご覧ください。

よくある質問

AI における枝刈り(プルーニング)とは何ですか?

学習済みのニューラルネットワークから、出力への寄与が小さい重みやニューロン全体を取り除くことです。小さくなったネットワークは必要なメモリが少なくなり、適したハードウェアでは計算とエネルギーも少なくて済みます。

スパースなモデルは必ずエネルギー使用量が少ないのですか?

いいえ。ゼロだらけのモデルがエネルギーを節約するのは、ハードウェアとソフトウェアがそのゼロを飛ばす場合だけです。標準的な GPU 上の非構造的スパース性では、密なモデルより速く動かないこともあります。そのため、構造的スパース性やスパース演算用のカーネルが重要になります。

物理情報ニューラルネットワークとは何ですか?

既知の物理法則に従うように学習させたニューラルネットワークです。通常は、支配方程式を損失関数に加えることで実現します。その知識を組み込むことで、役立つ解を学ぶのに必要なデータが少なくなります。

より良いチップと比べて、数学は本当に違いを生むのですか?

はい。そして両者は組み合わせられます。より良いアルゴリズムはこなすべき仕事を減らし、より良いハードウェアはその仕事をより安くこなします。量子化や効率的なアテンションなど、AI における最大級の節約のいくつかは、新しいチップではなく、数学とアルゴリズムから生まれました。

出典

  1. Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
  2. The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
  3. Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
  4. SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
  5. Inducing and exploiting activation sparsity for fast inference on deep neural networks, Kurtz et al., ICML (2020)
  6. ReLU strikes back: exploiting activation sparsity in large language models, Mirzadeh et al., ICLR (2024)
  7. Finding structure with randomness: probabilistic algorithms for constructing approximate matrix decompositions, Halko, Martinsson and Tropp, SIAM Review (2011)
  8. Randomized numerical linear algebra: foundations and algorithms, Martinsson and Tropp, Acta Numerica (2020)
  9. FlashAttention: fast and memory-efficient exact attention with IO-awareness, Dao, Fu, Ermon, Rudra and Ré, NeurIPS (2022)
  10. Implicit self-regularization in deep neural networks: evidence from random matrix theory and implications for learning, Martin and Mahoney, Journal of Machine Learning Research (2021)
  11. Nonlinear random matrix theory for deep learning, Pennington and Worah, NeurIPS (2017)
  12. Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations, Raissi, Perdikaris and Karniadakis, Journal of Computational Physics (2019)
  13. Geometric deep learning: grids, groups, graphs, geodesics, and gauges, Bronstein, Bruna, Cohen and Veličković (2021)
  14. Algorithm unrolling: interpretable, efficient deep learning for signal and image processing, Monga, Li and Eldar, IEEE Signal Processing Magazine (2021)
  15. Automatic differentiation in machine learning: a survey, Baydin, Pearlmutter, Radul and Siskind, Journal of Machine Learning Research (2018)
  16. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
  17. Quantization and training of neural networks for efficient integer-arithmetic-only inference, Jacob et al., CVPR (2018)

参加する

AI が地球に与える影響を減らすために

新しいガイド、資金の公募、ディレクトリの掲載情報を、月に1回ほどメールでお届けします。または、製品、講座、PhD、研究をディレクトリに追加してください。

トラッキングなし。ワンクリックで配信停止できます。 その他の参加方法 · プライバシー