# Wie beschneide ich ein neuronales Netz (Pruning)?

> So beschneiden Sie ein trainiertes neuronales Netz um wenig beitragende Gewichte, testen die verbleibende Genauigkeit und prüfen, ob die Hardware wirklich spart.

Source: https://greenai.guide/de/wie/wie-beschneide-ich-ein-neuronales-netz-pruning/  
Updated: 2026-11-19

## Kurz gesagt

Beschneiden Sie ein trainiertes Netz, indem Sie die Gewichte, Neuronen oder Schichten entfernen, die am wenigsten beitragen, feinjustieren Sie es dann kurz, damit es sich erholt, und testen Sie es an Ihrem Qualitätsmaßstab. Pruning reduzierte die Parameter von AlexNet um den Faktor neun ohne Genauigkeitsverlust, und sehr große Sprachmodelle wurden in einem Durchgang auf mindestens 50 % Sparsity beschnitten. Bevorzugen Sie strukturiertes Pruning, wenn normale Hardware schneller laufen soll.

## Steps

1. Messen Sie zuerst Genauigkeit, Latenz und Energieverbrauch des unbeschnittenen Modells.
2. Wählen Sie strukturiertes Pruning (ganze Neuronen, Heads oder Schichten), es sei denn, Ihre Hardware nutzt dünnbesetzte Gewichte aus.
3. Entfernen Sie einen moderaten Anteil der Gewichte nach Wichtigkeit, etwa die mit dem kleinsten Betrag.
4. Feinjustieren Sie kurz, damit sich das Netz erholen kann.
5. Wiederholen Sie das schrittweise, testen Sie jedes Mal und hören Sie auf, wenn die Qualität unter Ihren Maßstab fällt.

**Große Netze haben meist weit mehr Gewichte, als ihre Aufgabe braucht, daher lassen sich viele nach dem Training
entfernen.** Pruning macht das Modell kleiner und, auf der passenden Hardware, günstiger im Betrieb.

## Was zeigen die Belege? {#what-does-the-evidence-show}

Han und Kollegen zeigten 2015, dass Pruning die Parameter des Bildmodells AlexNet um den Faktor neun und die von
VGG-16 um den Faktor dreizehn reduzierte, ohne Genauigkeitsverlust. Die Lottery-Ticket-Hypothese von Frankle und
Carbin ergab, dass große Netze viel kleinere Teilnetze enthalten, die die Genauigkeit des vollständigen Netzes
erreichen können. Bei Sprachmodellen beschnitt SparseGPT von Frantar und Alistarh sehr große Modelle in einem
Durchgang und ohne erneutes Training auf mindestens 50 % Sparsity, bei nur geringem Anstieg der Perplexität.

## Strukturiert oder unstrukturiert? {#structured-or-unstructured}

- **Unstrukturiertes Pruning** entfernt einzelne Gewichte. Es kann am meisten entfernen, hinterlässt aber verstreute
  Nullen, die normale GPUs und CPUs oft nicht überspringen können.
- **Strukturiertes Pruning** entfernt ganze Neuronen, Attention-Heads, Kanäle oder Schichten. Es entfernt weniger,
  aber das kleinere Modell läuft auf jeder Hardware schneller.

## Häufige Fehler {#common-mistakes}

- **Nullen zählen, statt den Energieverbrauch zu messen.** Theoretische Einsparungen übersteigen oft die gemessenen.
  Ein britisches Green-AI-Sandpit aus Mathematik, Informatik und Industrie im Jahr 2026 stellte fest, dass Sparsity
  auch deshalb zu wenig genutzt wird, weil gängige Chips sie kaum ausnutzen können.
- **Zu viel auf einmal beschneiden.** Gehen Sie schrittweise vor und feinjustieren Sie zwischendurch.
- **Nur mit Benchmarks testen.** Prüfen Sie Ihre eigenen Fälle, auch seltene, denn ihnen schadet Pruning oft zuerst.

Die Übersichtsarbeit von Hoefler und Kollegen aus dem Jahr 2021 über mehr als 300 Veröffentlichungen ist der
Standardleitfaden. Zur Theorie lesen Sie [Mathematik für effiziente KI](/de/artikel/die-mathematik-die-ki-effizienter-macht/).

## Quellen

- [Learning both weights and connections for efficient neural networks](https://arxiv.org/abs/1506.02626), Han, Pool, Tran and Dally, NeurIPS (2015)
- [SparseGPT: massive language models can be accurately pruned in one-shot](https://arxiv.org/abs/2301.00774), Frantar and Alistarh, ICML (2023)
- [Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks](https://jmlr.org/papers/v22/21-0366.html), Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- [The lottery ticket hypothesis: finding sparse, trainable neural networks](https://arxiv.org/abs/1803.03635), Frankle and Carbin, ICLR (2019)
