# ¿Cómo cuantizo un modelo?

> Cómo cuantizar un modelo de IA a 8 o 4 bits: qué herramientas usar, cómo probar la calidad y cuándo la cuantización ahorra energía y cuándo no.

Source: https://greenai.guide/es/como/como-cuantizo-un-modelo/  
Updated: 2026-11-19

## En resumen

Cuantizar guarda los pesos de un modelo con menos bits, normalmente 8 o 4 en lugar de 16 o 32, de modo que necesita menos memoria y a menudo menos energía por respuesta. Cargue una versión ya cuantizada o cuantice con los métodos integrados de su biblioteca, y luego pruébela con sus propios ejemplos frente al modelo de precisión completa. Consérvela si la calidad se mantiene y la energía por solicitud baja.

## Steps

1. Compruebe si ya existe una versión cuantizada de su modelo.
2. Si no, cuantice con un método admitido por su biblioteca, empezando por 8 bits.
3. Ejecute el modelo cuantizado y el original con el mismo conjunto de evaluación.
4. Pruebe con 4 bits si la calidad con 8 bits se mantiene y necesita ahorrar más memoria.
5. Mida la energía y la latencia por solicitud con su tamaño de lote real antes de cambiar.

**La cuantización suele ser la mejora de eficiencia más rápida para un modelo que ejecuta usted mismo.** Reduce la
memoria, de modo que el modelo cabe en menos GPU o en GPU más pequeñas, y puede reducir la energía por respuesta.

## ¿Por qué importa? {#why-does-it-matter}

La documentación de Hugging Face da una idea de la escala: un modelo de 8.000 millones de parámetros necesita unos
16 GB para sus pesos con precisión de 16 bits, unos 8 GB con 8 bits y unos 4 a 5 GB con 4 bits. Dettmers y sus
colegas demostraron con LLM.int8() que la inferencia con 8 bits puede reducir a la mitad la memoria necesaria
manteniendo el rendimiento de precisión completa, en modelos de hasta 175.000 millones de parámetros. La UNESCO y el
University College London informan de que la compresión, como la cuantización, puede ahorrar hasta un 44% de energía.

## ¿Cómo lo hago? {#how-do-i-do-it}

- **Descargue una versión cuantizada.** Muchos modelos abiertos se publican en formatos cuantizados. GGUF, que usa
  llama.cpp, ofrece tipos de cuantización de entre aproximadamente 1,5 y 8 bits por peso.
- **Cuantice al cargar.** Bibliotecas como Hugging Face Transformers admiten más de 20 métodos de cuantización, varios
  de los cuales cuantizan los pesos mientras se carga el modelo.
- **Calibre cuando haga falta.** Algunos métodos usan una pequeña muestra de sus datos para elegir cómo redondear, lo
  que tiende a conservar mejor la calidad con 4 bits.

## Errores frecuentes {#common-mistakes}

- **Saltarse la prueba de calidad.** Menos bits cuestan algo de precisión, y cada método equilibra de forma distinta
  la memoria, la velocidad y la precisión. Pruebe con sus propios casos.
- **Suponer que siempre es más rápido.** Hugging Face señala que, si la memoria de la GPU no le limita, la
  cuantización puede aumentar ligeramente la latencia por los pasos adicionales de cuantizar y descuantizar. Mida la
  energía, no solo la velocidad.
- **Quedarse en la cuantización.** Combínela con un modelo más pequeño o con la [destilación](/es/como/como-destilo-un-modelo-grande-en-uno-mas-pequeno/).

Lea más en [entrenamiento e inferencia eficientes](/es/buenas-practicas/entrenamiento-e-inferencia-eficientes-de-la-ia/).

## Fuentes

- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [LLM.int8(): 8-bit matrix multiplication for transformers at scale](https://arxiv.org/abs/2208.07339), Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
- [Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation](https://www.unesco.org/en/articles/ai-large-language-models-new-report-shows-small-changes-can-reduce-energy-use-90), UNESCO and University College London (2025)
- [GGUF](https://huggingface.co/docs/hub/gguf), Hugging Face Hub documentation (2026)
