greenai.guide

Inicio › ¿Cómo puedo…? › ¿Cómo cuantizo un modelo?

¿Cómo puedo…?

¿Cómo cuantizo un modelo?

Actualizado · 2 min de lectura

En resumen

Cuantizar guarda los pesos de un modelo con menos bits, normalmente 8 o 4 en lugar de 16 o 32, de modo que necesita menos memoria y a menudo menos energía por respuesta. Cargue una versión ya cuantizada o cuantice con los métodos integrados de su biblioteca, y luego pruébela con sus propios ejemplos frente al modelo de precisión completa. Consérvela si la calidad se mantiene y la energía por solicitud baja.

Pasos

  1. Compruebe si ya existe una versión cuantizada de su modelo.
  2. Si no, cuantice con un método admitido por su biblioteca, empezando por 8 bits.
  3. Ejecute el modelo cuantizado y el original con el mismo conjunto de evaluación.
  4. Pruebe con 4 bits si la calidad con 8 bits se mantiene y necesita ahorrar más memoria.
  5. Mida la energía y la latencia por solicitud con su tamaño de lote real antes de cambiar.

La cuantización suele ser la mejora de eficiencia más rápida para un modelo que ejecuta usted mismo. Reduce la memoria, de modo que el modelo cabe en menos GPU o en GPU más pequeñas, y puede reducir la energía por respuesta.

¿Por qué importa?

La documentación de Hugging Face da una idea de la escala: un modelo de 8.000 millones de parámetros necesita unos 16 GB para sus pesos con precisión de 16 bits, unos 8 GB con 8 bits y unos 4 a 5 GB con 4 bits. Dettmers y sus colegas demostraron con LLM.int8() que la inferencia con 8 bits puede reducir a la mitad la memoria necesaria manteniendo el rendimiento de precisión completa, en modelos de hasta 175.000 millones de parámetros. La UNESCO y el University College London informan de que la compresión, como la cuantización, puede ahorrar hasta un 44% de energía.

¿Cómo lo hago?

  • Descargue una versión cuantizada. Muchos modelos abiertos se publican en formatos cuantizados. GGUF, que usa llama.cpp, ofrece tipos de cuantización de entre aproximadamente 1,5 y 8 bits por peso.
  • Cuantice al cargar. Bibliotecas como Hugging Face Transformers admiten más de 20 métodos de cuantización, varios de los cuales cuantizan los pesos mientras se carga el modelo.
  • Calibre cuando haga falta. Algunos métodos usan una pequeña muestra de sus datos para elegir cómo redondear, lo que tiende a conservar mejor la calidad con 4 bits.

Errores frecuentes

  • Saltarse la prueba de calidad. Menos bits cuestan algo de precisión, y cada método equilibra de forma distinta la memoria, la velocidad y la precisión. Pruebe con sus propios casos.
  • Suponer que siempre es más rápido. Hugging Face señala que, si la memoria de la GPU no le limita, la cuantización puede aumentar ligeramente la latencia por los pasos adicionales de cuantizar y descuantizar. Mida la energía, no solo la velocidad.
  • Quedarse en la cuantización. Combínela con un modelo más pequeño o con la destilación.

Lea más en entrenamiento e inferencia eficientes.

Fuentes

  1. Quantization overview, Hugging Face Transformers documentation (2026)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. LLM.int8(): 8-bit matrix multiplication for transformers at scale, Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
  4. Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
  5. GGUF, Hugging Face Hub documentation (2026)

Únase a nosotros

Ayude a reducir el impacto de la IA en el planeta

Reciba por correo electrónico nuevas guías, convocatorias de financiación y fichas de los directorios, aproximadamente una vez al mes. O añada su producto, curso, doctorado o investigación a los directorios.

Sin seguimiento. Cancele la suscripción con un clic. Otras formas de unirse · Privacidad