greenai.guide

Startseite › Artikel › Die Mathematik, die KI effizienter macht

Artikel

Die Mathematik, die KI effizienter macht

Aktualisiert · 6 Min. Lesezeit

Kurz gesagt

Ein großer Teil der Energie, die KI verbraucht, fließt in Berechnungen und Datenbewegungen, die die Aufgabe gar nicht braucht. Mathematische Methoden wie Pruning, Sparsity, randomisiertes Sketching, Zufallsmatrixtheorie und Modelle mit eingebauter Struktur beseitigen diese Redundanz, oft mit wenig oder gar keinem Genauigkeitsverlust. Sie sparen nur dann Energie, wenn die Einsparungen gemessen und nicht einfach für größere Modelle verbraucht werden.

Das Wichtigste

  • Große neuronale Netze sind überparametrisiert; Pruning kann nach dem Training die meisten ihrer Gewichte entfernen, bei geringem Genauigkeitsverlust.
  • Sparsity spart nur dann Energie, wenn Hardware und Software die Nullen überspringen können; andernfalls ist es eine Einsparung auf dem Papier.
  • Daten zu bewegen kostet oft mehr Energie als die Rechenoperationen selbst, deshalb sind Methoden wichtig, die den Speicherverkehr verringern, etwa Sketching und IO-bewusste Attention.
  • Wer bekannte Physik oder Symmetrien in ein Modell einbaut, kann die benötigten Parameter und Daten reduzieren.
  • Klassische numerische Verfahren sind manchmal die grünere Antwort, und eine hybride Pipeline kann ein kleines Netz nur dort einsetzen, wo es hilft.

Der größte Teil der Energie, die ein neuronales Netz verbraucht, fließt in zwei Dinge: Rechenoperationen und das Verschieben von Zahlen zwischen Speicher und Prozessor. Mathematik kann beides verringern. Dieser Artikel erklärt die wichtigsten Methoden in einfachen Worten, nennt die Fachartikel dahinter und zeigt, wo sich jede einzelne nicht mehr lohnt.

Ein britischer Sandpit zu grüner KI mit Mathematikern, Informatikern und Industrie stellte 2026 genau diese Frage in den Mittelpunkt: Wie können die mathematischen Wissenschaften die Energie und die Ressourcen verringern, die KI bei wachsender Nachfrage braucht? Die folgenden Methoden kamen dort am häufigsten zur Sprache, hier gegen die veröffentlichte Evidenz abgewogen.

Warum gibt es Redundanz, die man entfernen kann?

Große Modelle sind größer, als die Aufgabe streng genommen erfordert, weil sie sich durch ihre Größe leichter trainieren lassen. Das Training funktioniert in einem hochdimensionalen Raum besser, doch nach dem Training tragen viele der Gewichte nur wenig bei.

Das eröffnet drei Arten von Einsparungen: weniger Gewichte (Pruning), weniger aktive Werte zu jedem Zeitpunkt (Sparsity) und weniger Datenbewegung (Sketching und speicherbewusste Algorithmen). Eine vierte Art vermeidet die Redundanz von vornherein, indem bekannte Struktur in das Modell eingebaut wird.

Was ist Pruning, und wie viel lässt sich damit entfernen?

Pruning löscht die Gewichte, die am wenigsten beitragen, und lässt das Netz sich anschließend erholen. Han und Kollegen zeigten 2015, dass Pruning die Parameter des Bildmodells AlexNet um den Faktor neun und die von VGG-16 um den Faktor dreizehn verringerte, ohne Genauigkeitsverlust.

Spätere Arbeiten schärften die Idee:

  • Die Lottery-Ticket-Hypothese (Frankle und Carbin, 2019) ergab, dass große Netze viel kleinere Teilnetze enthalten, die, vom richtigen Ausgangspunkt aus trainiert, die Genauigkeit des vollständigen Netzes erreichen.
  • SparseGPT (Frantar und Alistarh, 2023) beschnitt sehr große Sprachmodelle in einem Durchgang und ohne erneutes Training auf mindestens 50 % Sparsity, bei geringem Anstieg der Perplexität.
  • Die Übersichtsarbeit von Hoefler und Kollegen aus dem Jahr 2021 über mehr als 300 Fachartikel ist der Standardleitfaden dafür, wann Pruning funktioniert und wann nicht.

Spart Sparsity tatsächlich Energie?

Nur wenn die Nullen übersprungen werden. Eine Matrix, die zu 80 % aus Nullen besteht, kostet trotzdem den vollen Aufwand, wenn die Hardware jeden Eintrag multipliziert. Es hilft, zwischen unstrukturierter Sparsity (Nullen beliebig verstreut) und strukturierter Sparsity (ganze Blöcke, Kanäle oder Muster aus Nullen) zu unterscheiden, die Standardchips weit leichter ausnutzen können.

Sparsity findet sich an zwei Stellen:

  • In den Gewichten, durch Pruning.
  • In den Aktivierungen, also den Werten, die bei einer bestimmten Eingabe durch das Netz fließen. Kurtz und Kollegen (2020) zeigten, dass eine höhere Schwelle der ReLU-Aktivierungsfunktion viel mehr Aktivierungen exakt auf null setzt, die dann bei der Inferenz übersprungen werden können. Mirzadeh und Kollegen (2024) argumentierten, dass große Sprachmodelle mit ReLU-Aktivierungen denselben Effekt nutzen können, um Rechenaufwand zu sparen.

Aktivierungs-Sparsity ist dynamisch: Welche Werte null sind, ändert sich mit jeder Eingabe. Das macht sie in Hardware schwerer nutzbar, und es ist ein Grund, warum der Sandpit das gemeinsame Design von Hardware und Software als Teil der Mathematik behandelte und nicht als nachträglichen Gedanken.

Warum ist Datenbewegung so wichtig?

Eine Zahl aus dem Speicher zu holen kann mehr Energie kosten, als mit ihr zu rechnen. Algorithmen, die weniger Daten bewegen, sparen oft mehr als Algorithmen, die weniger Rechenschritte ausführen.

Zwei Methodenfamilien setzen hier an:

  • Randomisiertes Sketching. Ein Sketch ist eine viel kleinere zufällige Projektion einer großen Matrix, die die benötigten Eigenschaften bewahrt. Der Fachartikel von Halko, Martinsson und Tropp aus dem Jahr 2011 und die Übersichtsarbeit von Martinsson und Tropp aus dem Jahr 2020 legen die Theorie der randomisierten numerischen linearen Algebra dar, die beweisbare Fehlerschranken für diese Näherungen liefert. Auf neuronale Netze angewendet, können Sketches große Zwischenergebnisse komprimieren, bevor sie aus dem Chip heraus verschoben werden.
  • IO-bewusste Algorithmen. FlashAttention (Dao und Kollegen, 2022) berechnet genau dasselbe Attention-Ergebnis wie das Standardverfahren, organisiert die Arbeit aber so um, dass weniger Lese- und Schreibzugriffe zwischen dem großen, langsamen Speicher einer GPU und ihrem kleinen, schnellen Speicher nötig sind. Die Einsparung entsteht durch die Ablaufplanung, nicht durch Näherung.

Was trägt die Zufallsmatrixtheorie bei?

Die Zufallsmatrixtheorie beschreibt, wie sich große Zufallsmatrizen verhalten, und genau das sind die Gewichte eines neuronalen Netzes zu Beginn des Trainings. Damit können Mathematiker Eigenschaften eines Netzes vorhersagen, bevor es trainiert wird.

Pennington und Worah (2017) nutzten sie, um zu analysieren, wie Signale durch breite Netze laufen. Martin und Mahoney (2021) untersuchten die Spektren trainierter Gewichtsmatrizen und fanden Muster, die anzeigen, wie gut eine Schicht gelernt hat. Ergebnisse dieser Art helfen, den Grad der Sparsity festzulegen und Schichten zu erkennen, die größer sind als nötig, ohne durch Ausprobieren viele Varianten trainieren zu müssen.

Kann Struktur Daten und Parameter ersetzen?

Ja, wenn die Struktur bekannt ist. Gehorcht ein Problem einem physikalischen Gesetz oder einer Symmetrie, muss ein Modell, in das dieses Wissen eingebaut ist, es nicht aus Daten lernen.

  • Physikinformierte neuronale Netze (Raissi, Perdikaris und Karniadakis, 2019) nehmen die zugrunde liegenden Gleichungen in das Trainingsziel auf, sodass das Netz für physikalisch unmögliche Antworten bestraft wird.
  • Geometrisches Deep Learning (Bronstein und Kollegen, 2021) entwirft Netze, die Symmetrien wie Rotation oder Permutation berücksichtigen, sodass sie weniger Parameter und Beispiele brauchen.
  • Algorithm Unrolling (Monga, Li und Eldar, 2021) verwandelt die Schritte eines klassischen iterativen Algorithmus in die Schichten eines Netzes und ergibt so kleine, interpretierbare Modelle.

Eine verwandte Idee kam im Sandpit immer wieder zur Sprache: hybride Pipelines. Man behält das klassische oder physikbasierte Verfahren für die Schritte, die es gut beherrscht, und setzt ein kleines Netz nur für den Teil ein, der sich zum Lernen eignet, etwa als Ersatzmodell für eine teure Komponente einer Simulation. Manchmal ist die grünste Antwort ein bestehendes numerisches Verfahren ganz ohne neuronales Netz.

Wo passen automatisches Differenzieren und Quantisierung hinein?

Automatisches Differenzieren (AD) berechnet exakte Ableitungen eines Programms und ist der Motor des Trainings. Backpropagation ist AD im Rückwärtsmodus, wie die Übersichtsarbeit von Baydin und Kollegen aus dem Jahr 2018 erläutert. Effizientes AD ist für grüne KI für sich genommen wichtig, und es ermöglicht erst Techniken wie Pruning-bewusstes Training und differenzierbare Energiestrafterme.

Quantisierung speichert Zahlen mit weniger Bits, zum Beispiel als 8-Bit-Ganzzahlen statt als 32-Bit-Gleitkommazahlen. Jacob und Kollegen (2018) zeigten, wie man Netze für eine Inferenz trainiert, die nur mit Ganzzahlen rechnet. Das senkt Speicherbedarf und Energie pro Operation. Weniger Bits bedeuten außerdem weniger Daten, die bewegt werden müssen.

Können wir Modelle wiederverwenden, statt neue zu trainieren?

Oft. Wortsman und Kollegen (2022) zeigten, dass das Mitteln der Gewichte mehrerer per Fine-Tuning angepasster Versionen desselben Modells, eine sogenannte „Model Soup“, die Genauigkeit verbessern kann, ohne zusätzliche Kosten bei der Inferenz. Bestehende Modelle zusammenzuführen und anzupassen vermeidet, die Kosten eines Trainings von Grund auf zu wiederholen. Orchestrierung statt Generierung führt diese Idee der Wiederverwendung weiter.

Wo liegen die Grenzen?

Effizienzgewinne sind real, aber nicht automatisch Einsparungen. Für jede der genannten Methoden gelten drei Vorbehalte:

  • Eine Einsparung auf dem Papier (weniger Parameter, weniger Operationen) muss durch Messung des Energieverbrauchs auf echter Hardware bestätigt werden. Siehe KI-Energie messen.
  • Die Genauigkeit muss an der tatsächlichen Aufgabe geprüft werden, nicht nur an einem Benchmark-Durchschnitt.
  • Günstigere Rechenleistung wird tendenziell für mehr Rechenleistung genutzt. Effizienz ist nicht Suffizienz erklärt diesen Rebound-Effekt.

Was Sie als Nächstes tun können

  • Wenn Sie Modelle trainieren oder per Fine-Tuning anpassen, probieren Sie zuerst Pruning und Quantisierung nach dem Training aus: Das sind die günstigsten Gewinne. Siehe effizientes Training und effiziente Inferenz.
  • Prüfen Sie, ob Ihre Hardware und Ihre Bibliotheken Sparsity tatsächlich ausnutzen, bevor Sie damit rechnen.
  • Bevor Sie zu einem neuronalen Netz greifen, fragen Sie sich, ob ein klassisches Verfahren oder ein hybrider Ansatz das Problem bereits löst.
  • Messen Sie den Energieverbrauch vor und nach jeder Änderung, auf der Hardware, die Sie einsetzen werden.
  • Forschende: Suchen Sie geförderte Projekte und Promotionsstellen zu effizienter KI in den Verzeichnissen Forschung und Promotionen, und lesen Sie den Leitfaden für Forschende.

Häufige Fragen

Was ist Pruning in der KI?

Pruning (Beschneiden) entfernt aus einem trainierten neuronalen Netz Gewichte oder ganze Neuronen, die wenig zu seiner Ausgabe beitragen. Das kleinere Netz braucht weniger Speicher und auf geeigneter Hardware weniger Rechenaufwand und Energie.

Verbraucht ein dünn besetztes Modell immer weniger Energie?

Nein. Ein Modell voller Nullen spart nur dann Energie, wenn Hardware und Software diese überspringen. Unstrukturierte Sparsity kann auf einer Standard-GPU nicht schneller laufen als das dicht besetzte Modell. Deshalb sind strukturierte Sparsity und spezielle Sparse-Kernels wichtig.

Was ist ein physikinformiertes neuronales Netz?

Ein neuronales Netz, das so trainiert wird, dass es bekannte physikalische Gesetze einhält, meist indem die zugrunde liegenden Gleichungen in seine Verlustfunktion aufgenommen werden. Weil dieses Wissen eingebaut ist, braucht das Netz weniger Daten, um eine brauchbare Lösung zu lernen.

Kann Mathematik neben besseren Chips wirklich etwas bewirken?

Ja, und beides ergänzt sich. Bessere Algorithmen verringern die zu leistende Arbeit; bessere Hardware erledigt diese Arbeit günstiger. Mehrere der größten Einsparungen in der KI, etwa Quantisierung und effiziente Attention, stammen aus Mathematik und Algorithmen und nicht aus neuen Chips.

Quellen

  1. Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
  2. The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
  3. Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
  4. SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
  5. Inducing and exploiting activation sparsity for fast inference on deep neural networks, Kurtz et al., ICML (2020)
  6. ReLU strikes back: exploiting activation sparsity in large language models, Mirzadeh et al., ICLR (2024)
  7. Finding structure with randomness: probabilistic algorithms for constructing approximate matrix decompositions, Halko, Martinsson and Tropp, SIAM Review (2011)
  8. Randomized numerical linear algebra: foundations and algorithms, Martinsson and Tropp, Acta Numerica (2020)
  9. FlashAttention: fast and memory-efficient exact attention with IO-awareness, Dao, Fu, Ermon, Rudra and Ré, NeurIPS (2022)
  10. Implicit self-regularization in deep neural networks: evidence from random matrix theory and implications for learning, Martin and Mahoney, Journal of Machine Learning Research (2021)
  11. Nonlinear random matrix theory for deep learning, Pennington and Worah, NeurIPS (2017)
  12. Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations, Raissi, Perdikaris and Karniadakis, Journal of Computational Physics (2019)
  13. Geometric deep learning: grids, groups, graphs, geodesics, and gauges, Bronstein, Bruna, Cohen and Veličković (2021)
  14. Algorithm unrolling: interpretable, efficient deep learning for signal and image processing, Monga, Li and Eldar, IEEE Signal Processing Magazine (2021)
  15. Automatic differentiation in machine learning: a survey, Baydin, Pearlmutter, Radul and Siskind, Journal of Machine Learning Research (2018)
  16. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
  17. Quantization and training of neural networks for efficient integer-arithmetic-only inference, Jacob et al., CVPR (2018)

Machen Sie mit

Helfen Sie, die Umweltwirkung von KI zu senken

Erhalten Sie neue Leitfäden, Förderausschreibungen und Verzeichniseinträge etwa einmal im Monat per E-Mail. Oder tragen Sie Ihr Produkt, Ihren Kurs, Ihre PhD-Stelle oder Ihre Forschung in die Verzeichnisse ein.

Kein Tracking. Abmeldung mit einem Klick. Weitere Möglichkeiten mitzumachen · Datenschutz