En resumen
Cuantizar guarda los pesos de un modelo con menos bits, normalmente 8 o 4 en lugar de 16 o 32, de modo que necesita menos memoria y a menudo menos energía por respuesta. Cargue una versión ya cuantizada o cuantice con los métodos integrados de su biblioteca, y luego pruébela con sus propios ejemplos frente al modelo de precisión completa. Consérvela si la calidad se mantiene y la energía por solicitud baja.
Pasos
- Compruebe si ya existe una versión cuantizada de su modelo.
- Si no, cuantice con un método admitido por su biblioteca, empezando por 8 bits.
- Ejecute el modelo cuantizado y el original con el mismo conjunto de evaluación.
- Pruebe con 4 bits si la calidad con 8 bits se mantiene y necesita ahorrar más memoria.
- Mida la energía y la latencia por solicitud con su tamaño de lote real antes de cambiar.
La cuantización suele ser la mejora de eficiencia más rápida para un modelo que ejecuta usted mismo. Reduce la memoria, de modo que el modelo cabe en menos GPU o en GPU más pequeñas, y puede reducir la energía por respuesta.
¿Por qué importa?
La documentación de Hugging Face da una idea de la escala: un modelo de 8.000 millones de parámetros necesita unos 16 GB para sus pesos con precisión de 16 bits, unos 8 GB con 8 bits y unos 4 a 5 GB con 4 bits. Dettmers y sus colegas demostraron con LLM.int8() que la inferencia con 8 bits puede reducir a la mitad la memoria necesaria manteniendo el rendimiento de precisión completa, en modelos de hasta 175.000 millones de parámetros. La UNESCO y el University College London informan de que la compresión, como la cuantización, puede ahorrar hasta un 44% de energía.
¿Cómo lo hago?
- Descargue una versión cuantizada. Muchos modelos abiertos se publican en formatos cuantizados. GGUF, que usa llama.cpp, ofrece tipos de cuantización de entre aproximadamente 1,5 y 8 bits por peso.
- Cuantice al cargar. Bibliotecas como Hugging Face Transformers admiten más de 20 métodos de cuantización, varios de los cuales cuantizan los pesos mientras se carga el modelo.
- Calibre cuando haga falta. Algunos métodos usan una pequeña muestra de sus datos para elegir cómo redondear, lo que tiende a conservar mejor la calidad con 4 bits.
Errores frecuentes
- Saltarse la prueba de calidad. Menos bits cuestan algo de precisión, y cada método equilibra de forma distinta la memoria, la velocidad y la precisión. Pruebe con sus propios casos.
- Suponer que siempre es más rápido. Hugging Face señala que, si la memoria de la GPU no le limita, la cuantización puede aumentar ligeramente la latencia por los pasos adicionales de cuantizar y descuantizar. Mida la energía, no solo la velocidad.
- Quedarse en la cuantización. Combínela con un modelo más pequeño o con la destilación.
Lea más en entrenamiento e inferencia eficientes.
Fuentes
- Quantization overview, Hugging Face Transformers documentation (2026)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- LLM.int8(): 8-bit matrix multiplication for transformers at scale, Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- GGUF, Hugging Face Hub documentation (2026)
Relacionado
Entrenamiento e inferencia eficientes de la IA
Técnicas para reducir la energía de la IA: poda, dispersión, cuantización, destilación, caché KV, procesamiento por lotes, precisión mixta y planificación.
¿Cómo ejecuto un modelo de IA en local?
Cómo ejecutar un modelo de IA abierto en su portátil o servidor con herramientas como Ollama o llama.cpp, elegir un modelo cuantizado que quepa y medir su energía.
¿Cómo reduzco la energía de servir un modelo en producción?
Cómo servir un modelo autoalojado con menos energía por solicitud: entornos de ejecución eficientes, lotes, media precisión, cachés compiladas y hardware probado.
¿Cómo podo una red neuronal?
Cómo podar una red neuronal entrenada para eliminar los pesos que aportan poco, comprobar cuánta precisión se conserva y verificar que el hardware ahorra de verdad.