greenai.guide

Strona główna › Jak…? › Jak wybrać mniejszy model AI?

Jak…?

Jak wybrać mniejszy model AI?

Aktualizacja · Czas czytania: 1 min

W skrócie

Należy określić na prawdziwych przykładach, co znaczy „wystarczająco dobrze”, a potem testować modele od najmniejszego do największego i zatrzymać się na pierwszym, który spełnia wymagania. Małe modele dedykowane zadaniom mogą zużywać ułamek energii dużych modeli ogólnych: UNESCO i University College London podają oszczędności sięgające 90% w odpowiednich zadaniach.

Kroki

  1. Zapisać zadanie i próg zaliczenia, np. odsetek odpowiedzi, które muszą być poprawne.
  2. Zebrać od 20 do 50 prawdziwych przykładów do testów.
  3. Najpierw wypróbować najmniejszy model lub wersję „mini”, a większy wybierać tylko wtedy, gdy mniejszy nie osiąga progu.
  4. Sprawdzić publiczne oceny energii, np. AI Energy Score, jeśli są dostępne.
  5. Zachować większy model na przypadki, z którymi mały sobie nie radzi.
  6. Testować ponownie, gdy zmieniają się modele lub zadanie.

Należy używać najmniejszego modelu, który spełnia próg jakości, a nie najbardziej zaawansowanego z dostępnych. Duży model ogólny przy każdym zapytaniu płaci za umiejętności, których dane zadanie może nigdy nie potrzebować.

Dlaczego rozmiar modelu ma tak duże znaczenie?

Zwykle to największa pojedyncza dźwignia w zużyciu energii. Luccioni, Jernite i Strubell ustalili, że wielozadaniowe modele generatywne są o rzędy wielkości droższe w działaniu niż systemy dedykowane tym samym zadaniom. UNESCO i University College London ustaliły, że małe modele dopasowane do konkretnych zadań mogą obniżyć zużycie energii nawet o 90%.

Jak testować kandydatów?

  1. Określić próg na własnej pracy, np. „poprawnie odczytuje kwotę faktury w 98% przypadków”.
  2. Zaczynać od małych. Wielu dostawców oferuje wersje „mini”, „lite” lub „flash”; rodziny modeli o otwartych wagach występują w kilku rozmiarach.
  3. Zatrzymać się na pierwszym, który zaliczy test. W wąskich zadaniach większy model nie jest automatycznie dokładniejszy.
  4. Porównywać energię, nie tylko cenę. AI Energy Score od Hugging Face ocenia otwarte modele w skali od jednej do pięciu gwiazdek według energii na zapytanie w typowych zadaniach; zob. jak czytać ocenę AI Energy Score.

Ta sama zasada dotyczy zwykłych użytkowników: przy prostych pytaniach warto wybierać w chatbocie szybszą lub lżejszą opcję.

Częste błędy

  • Wybór według renomy zamiast testów na własnych przykładach.
  • Mierzenie kosztu na wywołanie, a nie na udany wynik. Model zbyt mały, który zawodzi i wymusza ponowne uruchomienie na dużym, może w sumie kosztować więcej.
  • Brak ponownej oceny. Małe modele szybko się poprawiają; warto testować je ponownie co kilka miesięcy.

Aby automatycznie kierować każde zapytanie do modelu właściwego rozmiaru, zob. kierowanie zapytań do mniejszych modeli. Pełna metoda jest opisana w części wybór właściwego modelu.

Źródła

  1. Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
  2. Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
  3. AI Energy Score, Hugging Face (2025)

Dołącz do nas

Pomóżmy zmniejszyć wpływ AI na planetę

Nowe przewodniki, nabory wniosków i wpisy w katalogach e-mailem, mniej więcej raz w miesiącu. Można też dodać do katalogów swój produkt, kurs, ofertę studiów doktoranckich lub badania.

Bez śledzenia. Rezygnacja jednym kliknięciem. Inne sposoby dołączenia · Prywatność