greenai.guide

Startseite › Wie kann ich …? › Wie mache ich ein KI-Modell klein genug für ein Edge-Gerät?

Wie kann ich …?

Wie mache ich ein KI-Modell klein genug für ein Edge-Gerät?

Aktualisiert · 1 Min. Lesezeit

Kurz gesagt

Starten Sie mit dem kleinsten Modell, das Ihre Qualitätsanforderung erfüllen könnte, und verkleinern Sie es weiter durch Destillation, Quantisierung und Pruning, wobei Sie jeden Schritt auf dem Zielgerät testen. Messen Sie Energie pro Inferenz, Latenz und Genauigkeit gemeinsam auf der echten Hardware, und lassen Sie das Modell eine Stufe herunterschalten, wenn der Akku schwach oder das Gerät heiß ist.

Schritte

  1. Legen Sie eine Qualitätsanforderung sowie ein Budget für Speicher, Latenz und Energie auf dem Zielgerät fest.
  2. Starten Sie mit einem kleinen oder destillierten Modell, statt ein großes Allzweckmodell zu verkleinern.
  3. Quantisieren Sie die Gewichte auf 8 oder 4 Bit und prüfen Sie die Genauigkeit an Ihren eigenen Testfällen.
  4. Entfernen Sie per Pruning Gewichte, die wenig beitragen, und testen Sie dann erneut auf dem Gerät.
  5. Messen Sie Energie pro Inferenz, Latenz und Genauigkeit gemeinsam auf der echten Hardware.
  6. Wechseln Sie zu einem kleineren Modell oder einer niedrigeren Rate, wenn der Akku schwach oder das Gerät heiß ist.

Kombinieren Sie ein kleines Ausgangsmodell mit Destillation, Quantisierung und Pruning, und beurteilen Sie jeden Schritt auf dem Gerät selbst. Edge-Geräte haben wenig Speicher und laufen oft mit Akku. Ein zu großes Modell passt daher entweder nicht oder leert den Akku und wird gedrosselt. Die richtige Größe bedeutet außerdem, dass Daten nicht in die Cloud geschickt werden müssen.

Welche Techniken verkleinern ein Modell am stärksten?

  • Destillation trainiert einen kleinen „Schüler“, einen großen „Lehrer“ nachzuahmen. DistilBERT war 40 % kleiner als BERT und 60 % schneller und behielt dabei 97 % seiner Fähigkeit zum Sprachverständnis.
  • Quantisierung speichert Gewichte mit weniger Bits. Die Dokumentation von Hugging Face nennt als Beispiel ein Modell mit 8 Milliarden Parametern, dessen Gewichte bei 16-Bit-Genauigkeit etwa 16 GB brauchen, bei 8 Bit etwa 8 GB und bei 4 Bit etwa 4–5 GB, auf Kosten einer gewissen Genauigkeit. Siehe ein Modell quantisieren.
  • Pruning entfernt Gewichte, die die Ausgabe kaum beeinflussen. Siehe ein neuronales Netz prunen.

Wie sollte sich das Modell auf dem Gerät verhalten?

Das Edge-AI-Pattern der Green Software Foundation empfiehlt, Energie pro Inferenz, Latenz und Genauigkeit gemeinsam zu erfassen und sich an die Bedingungen anzupassen: ein kleineres Modell oder seltenere Inferenz, wenn der Akku schwach oder das Gerät heiß ist.

Häufige Fehler

  • Nur auf einem Laptop testen. Beschleuniger, Speicher und thermische Grenzen unterscheiden sich; messen Sie auf der Zielhardware.
  • Unter die Qualitätsanforderung schrumpfen. Ein Modell, das versagt und ersatzweise die Cloud aufrufen muss, kann mehr kosten, als es spart.
  • Ständig Inferenz ausführen. Lösen Sie sie nach Möglichkeit durch Ereignisse aus, statt bei jedem Frame oder jede Sekunde.

Ob Edge oder Cloud grüner ist, hängt vom Fall ab: siehe Edge oder Cloud und KI am Edge.

Quellen

  1. Optimize power consumption for edge AI inference, Green Software Foundation, Green Software Patterns (2025)
  2. Run AI models at the edge, Green Software Foundation, Green Software Patterns (2025)
  3. Quantization overview, Hugging Face Transformers documentation (2026)
  4. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)

Machen Sie mit

Helfen Sie, die Umweltwirkung von KI zu senken

Erhalten Sie neue Leitfäden, Förderausschreibungen und Verzeichniseinträge etwa einmal im Monat per E-Mail. Oder tragen Sie Ihr Produkt, Ihren Kurs, Ihre PhD-Stelle oder Ihre Forschung in die Verzeichnisse ein.

Kein Tracking. Abmeldung mit einem Klick. Weitere Möglichkeiten mitzumachen · Datenschutz