greenai.guide

Startseite › Wie kann ich …? › Wie beschneide ich ein neuronales Netz (Pruning)?

Wie kann ich …?

Wie beschneide ich ein neuronales Netz (Pruning)?

Aktualisiert · 1 Min. Lesezeit

Kurz gesagt

Beschneiden Sie ein trainiertes Netz, indem Sie die Gewichte, Neuronen oder Schichten entfernen, die am wenigsten beitragen, feinjustieren Sie es dann kurz, damit es sich erholt, und testen Sie es an Ihrem Qualitätsmaßstab. Pruning reduzierte die Parameter von AlexNet um den Faktor neun ohne Genauigkeitsverlust, und sehr große Sprachmodelle wurden in einem Durchgang auf mindestens 50 % Sparsity beschnitten. Bevorzugen Sie strukturiertes Pruning, wenn normale Hardware schneller laufen soll.

Schritte

  1. Messen Sie zuerst Genauigkeit, Latenz und Energieverbrauch des unbeschnittenen Modells.
  2. Wählen Sie strukturiertes Pruning (ganze Neuronen, Heads oder Schichten), es sei denn, Ihre Hardware nutzt dünnbesetzte Gewichte aus.
  3. Entfernen Sie einen moderaten Anteil der Gewichte nach Wichtigkeit, etwa die mit dem kleinsten Betrag.
  4. Feinjustieren Sie kurz, damit sich das Netz erholen kann.
  5. Wiederholen Sie das schrittweise, testen Sie jedes Mal und hören Sie auf, wenn die Qualität unter Ihren Maßstab fällt.

Große Netze haben meist weit mehr Gewichte, als ihre Aufgabe braucht, daher lassen sich viele nach dem Training entfernen. Pruning macht das Modell kleiner und, auf der passenden Hardware, günstiger im Betrieb.

Was zeigen die Belege?

Han und Kollegen zeigten 2015, dass Pruning die Parameter des Bildmodells AlexNet um den Faktor neun und die von VGG-16 um den Faktor dreizehn reduzierte, ohne Genauigkeitsverlust. Die Lottery-Ticket-Hypothese von Frankle und Carbin ergab, dass große Netze viel kleinere Teilnetze enthalten, die die Genauigkeit des vollständigen Netzes erreichen können. Bei Sprachmodellen beschnitt SparseGPT von Frantar und Alistarh sehr große Modelle in einem Durchgang und ohne erneutes Training auf mindestens 50 % Sparsity, bei nur geringem Anstieg der Perplexität.

Strukturiert oder unstrukturiert?

  • Unstrukturiertes Pruning entfernt einzelne Gewichte. Es kann am meisten entfernen, hinterlässt aber verstreute Nullen, die normale GPUs und CPUs oft nicht überspringen können.
  • Strukturiertes Pruning entfernt ganze Neuronen, Attention-Heads, Kanäle oder Schichten. Es entfernt weniger, aber das kleinere Modell läuft auf jeder Hardware schneller.

Häufige Fehler

  • Nullen zählen, statt den Energieverbrauch zu messen. Theoretische Einsparungen übersteigen oft die gemessenen. Ein britisches Green-AI-Sandpit aus Mathematik, Informatik und Industrie im Jahr 2026 stellte fest, dass Sparsity auch deshalb zu wenig genutzt wird, weil gängige Chips sie kaum ausnutzen können.
  • Zu viel auf einmal beschneiden. Gehen Sie schrittweise vor und feinjustieren Sie zwischendurch.
  • Nur mit Benchmarks testen. Prüfen Sie Ihre eigenen Fälle, auch seltene, denn ihnen schadet Pruning oft zuerst.

Die Übersichtsarbeit von Hoefler und Kollegen aus dem Jahr 2021 über mehr als 300 Veröffentlichungen ist der Standardleitfaden. Zur Theorie lesen Sie Mathematik für effiziente KI.

Quellen

  1. Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
  2. SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
  3. Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
  4. The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)

Machen Sie mit

Helfen Sie, die Umweltwirkung von KI zu senken

Erhalten Sie neue Leitfäden, Förderausschreibungen und Verzeichniseinträge etwa einmal im Monat per E-Mail. Oder tragen Sie Ihr Produkt, Ihren Kurs, Ihre PhD-Stelle oder Ihre Forschung in die Verzeichnisse ein.

Kein Tracking. Abmeldung mit einem Klick. Weitere Möglichkeiten mitzumachen · Datenschutz