# Wie mache ich ein KI-Modell klein genug für ein Edge-Gerät?

> Modelle für Smartphones, Sensoren und Embedded-Boards verkleinern: klein starten, destillieren, quantisieren, prunen, dann Genauigkeit und Energie am Gerät testen.

Source: https://greenai.guide/de/wie/wie-mache-ich-ein-ki-modell-klein-genug-fuer-ein-edge-geraet/  
Updated: 2026-11-19

## Kurz gesagt

Starten Sie mit dem kleinsten Modell, das Ihre Qualitätsanforderung erfüllen könnte, und verkleinern Sie es weiter durch Destillation, Quantisierung und Pruning, wobei Sie jeden Schritt auf dem Zielgerät testen. Messen Sie Energie pro Inferenz, Latenz und Genauigkeit gemeinsam auf der echten Hardware, und lassen Sie das Modell eine Stufe herunterschalten, wenn der Akku schwach oder das Gerät heiß ist.

## Steps

1. Legen Sie eine Qualitätsanforderung sowie ein Budget für Speicher, Latenz und Energie auf dem Zielgerät fest.
2. Starten Sie mit einem kleinen oder destillierten Modell, statt ein großes Allzweckmodell zu verkleinern.
3. Quantisieren Sie die Gewichte auf 8 oder 4 Bit und prüfen Sie die Genauigkeit an Ihren eigenen Testfällen.
4. Entfernen Sie per Pruning Gewichte, die wenig beitragen, und testen Sie dann erneut auf dem Gerät.
5. Messen Sie Energie pro Inferenz, Latenz und Genauigkeit gemeinsam auf der echten Hardware.
6. Wechseln Sie zu einem kleineren Modell oder einer niedrigeren Rate, wenn der Akku schwach oder das Gerät heiß ist.

**Kombinieren Sie ein kleines Ausgangsmodell mit Destillation, Quantisierung und Pruning, und beurteilen Sie jeden
Schritt auf dem Gerät selbst.** Edge-Geräte haben wenig Speicher und laufen oft mit Akku. Ein zu großes Modell passt
daher entweder nicht oder leert den Akku und wird gedrosselt. Die richtige Größe bedeutet außerdem, dass Daten nicht
in die Cloud geschickt werden müssen.

## Welche Techniken verkleinern ein Modell am stärksten? {#which-techniques-shrink-a-model-most}

- **Destillation** trainiert einen kleinen „Schüler“, einen großen „Lehrer“ nachzuahmen. DistilBERT war 40 % kleiner
  als BERT und 60 % schneller und behielt dabei 97 % seiner Fähigkeit zum Sprachverständnis.
- **Quantisierung** speichert Gewichte mit weniger Bits. Die Dokumentation von Hugging Face nennt als Beispiel ein
  Modell mit 8 Milliarden Parametern, dessen Gewichte bei 16-Bit-Genauigkeit etwa 16 GB brauchen, bei 8 Bit etwa
  8 GB und bei 4 Bit etwa 4–5 GB, auf Kosten einer gewissen Genauigkeit. Siehe
  [ein Modell quantisieren](/de/wie/wie-quantisiere-ich-ein-modell/).
- **Pruning** entfernt Gewichte, die die Ausgabe kaum beeinflussen. Siehe
  [ein neuronales Netz prunen](/de/wie/wie-beschneide-ich-ein-neuronales-netz-pruning/).

## Wie sollte sich das Modell auf dem Gerät verhalten? {#how-should-the-model-behave-on-the-device}

Das Edge-AI-Pattern der Green Software Foundation empfiehlt, Energie pro Inferenz, Latenz und Genauigkeit gemeinsam
zu erfassen und sich an die Bedingungen anzupassen: ein kleineres Modell oder seltenere Inferenz, wenn der Akku
schwach oder das Gerät heiß ist.

## Häufige Fehler {#common-mistakes}

- **Nur auf einem Laptop testen.** Beschleuniger, Speicher und thermische Grenzen unterscheiden sich; messen Sie auf
  der Zielhardware.
- **Unter die Qualitätsanforderung schrumpfen.** Ein Modell, das versagt und ersatzweise die Cloud aufrufen muss,
  kann mehr kosten, als es spart.
- **Ständig Inferenz ausführen.** Lösen Sie sie nach Möglichkeit durch Ereignisse aus, statt bei jedem Frame oder
  jede Sekunde.

Ob Edge oder Cloud grüner ist, hängt vom Fall ab: siehe [Edge oder Cloud](/de/gute-praxis/edge-oder-cloud-wo-sollte-ki-laufen/) und
[KI am Edge](/de/artikel/ki-am-edge-gruener-oder-nur-weniger-sichtbar/).

## Quellen

- [Optimize power consumption for edge AI inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/optimize-edge-ai-power-performance.md), Green Software Foundation, Green Software Patterns (2025)
- [Run AI models at the edge](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/architecture/system-topology/run-ai-models-edge.md), Green Software Foundation, Green Software Patterns (2025)
- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
