Kurz gesagt
Beschneiden Sie ein trainiertes Netz, indem Sie die Gewichte, Neuronen oder Schichten entfernen, die am wenigsten beitragen, feinjustieren Sie es dann kurz, damit es sich erholt, und testen Sie es an Ihrem Qualitätsmaßstab. Pruning reduzierte die Parameter von AlexNet um den Faktor neun ohne Genauigkeitsverlust, und sehr große Sprachmodelle wurden in einem Durchgang auf mindestens 50 % Sparsity beschnitten. Bevorzugen Sie strukturiertes Pruning, wenn normale Hardware schneller laufen soll.
Schritte
- Messen Sie zuerst Genauigkeit, Latenz und Energieverbrauch des unbeschnittenen Modells.
- Wählen Sie strukturiertes Pruning (ganze Neuronen, Heads oder Schichten), es sei denn, Ihre Hardware nutzt dünnbesetzte Gewichte aus.
- Entfernen Sie einen moderaten Anteil der Gewichte nach Wichtigkeit, etwa die mit dem kleinsten Betrag.
- Feinjustieren Sie kurz, damit sich das Netz erholen kann.
- Wiederholen Sie das schrittweise, testen Sie jedes Mal und hören Sie auf, wenn die Qualität unter Ihren Maßstab fällt.
Große Netze haben meist weit mehr Gewichte, als ihre Aufgabe braucht, daher lassen sich viele nach dem Training entfernen. Pruning macht das Modell kleiner und, auf der passenden Hardware, günstiger im Betrieb.
Was zeigen die Belege?
Han und Kollegen zeigten 2015, dass Pruning die Parameter des Bildmodells AlexNet um den Faktor neun und die von VGG-16 um den Faktor dreizehn reduzierte, ohne Genauigkeitsverlust. Die Lottery-Ticket-Hypothese von Frankle und Carbin ergab, dass große Netze viel kleinere Teilnetze enthalten, die die Genauigkeit des vollständigen Netzes erreichen können. Bei Sprachmodellen beschnitt SparseGPT von Frantar und Alistarh sehr große Modelle in einem Durchgang und ohne erneutes Training auf mindestens 50 % Sparsity, bei nur geringem Anstieg der Perplexität.
Strukturiert oder unstrukturiert?
- Unstrukturiertes Pruning entfernt einzelne Gewichte. Es kann am meisten entfernen, hinterlässt aber verstreute Nullen, die normale GPUs und CPUs oft nicht überspringen können.
- Strukturiertes Pruning entfernt ganze Neuronen, Attention-Heads, Kanäle oder Schichten. Es entfernt weniger, aber das kleinere Modell läuft auf jeder Hardware schneller.
Häufige Fehler
- Nullen zählen, statt den Energieverbrauch zu messen. Theoretische Einsparungen übersteigen oft die gemessenen. Ein britisches Green-AI-Sandpit aus Mathematik, Informatik und Industrie im Jahr 2026 stellte fest, dass Sparsity auch deshalb zu wenig genutzt wird, weil gängige Chips sie kaum ausnutzen können.
- Zu viel auf einmal beschneiden. Gehen Sie schrittweise vor und feinjustieren Sie zwischendurch.
- Nur mit Benchmarks testen. Prüfen Sie Ihre eigenen Fälle, auch seltene, denn ihnen schadet Pruning oft zuerst.
Die Übersichtsarbeit von Hoefler und Kollegen aus dem Jahr 2021 über mehr als 300 Veröffentlichungen ist der Standardleitfaden. Zur Theorie lesen Sie Mathematik für effiziente KI.
Quellen
- Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
- SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
- Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
Verwandte Themen
Die Mathematik, die KI effizienter macht
Pruning, Sparsity, Sketching, Zufallsmatrixtheorie und physikinformierte Modelle: wie Mathematik Rechenaufwand, Speicher und Energie von KI senkt.
Wie quantisiere ich ein Modell?
Wie Sie ein KI-Modell auf 8 oder 4 Bit quantisieren: welche Werkzeuge, wie Sie die Qualität testen und wann Quantisierung Energie spart und wann nicht.
Wie destilliere ich ein großes Modell in ein kleineres?
So funktioniert Wissensdestillation: Ein großes Lehrer-Modell trainiert ein kleines Schüler-Modell für Ihre Aufgabe; testen Sie es und behalten Sie ein Fallback.
Effizientes KI-Training und effiziente Inferenz
Techniken, mit denen Entwickler und Forschende KI-Energie sparen: Pruning, Sparsity, Quantisierung, Destillation, KV-Cache, Batching, Mixed Precision, Scheduling.