En resumen
La mayor parte de la energía de la IA puede reducirse sin perder calidad: reutilizando modelos en lugar de entrenarlos desde cero, reduciéndolos con poda, cuantización y destilación, sirviéndolos con procesamiento por lotes y caché, y ejecutando los trabajos flexibles cuando y donde la electricidad es más limpia. Mida la energía antes y después de cada cambio, porque más rápido no siempre significa más verde.
Puntos clave
- Reutilice antes de entrenar: ajustar un pequeño adaptador con LoRA redujo 10.000 veces los parámetros entrenables y tres veces la memoria de GPU frente al ajuste fino completo de GPT-3 175B.
- Los grandes modelos de lenguaje pueden podarse hasta al menos un 50% de dispersión de una sola vez, sin reentrenar, con una pérdida mínima de precisión (SparseGPT).
- La inferencia en 8 bits puede reducir a la mitad la memoria necesaria sin pérdida de calidad (LLM.int8()); pruebe también con 4 bits.
- El servicio importa: el procesamiento por lotes y la gestión paginada de la caché KV multiplicaron por 2–4 el rendimiento en vLLM con la misma latencia.
- La planificación consciente del carbono reduce las emisiones, no la energía; aplíquela además del trabajo de eficiencia, nunca en su lugar.
¿Por dónde empiezo?
Empiece por medir; después reutilice, reduzca, sirva bien y planifique, en ese orden. Los primeros pasos suelen ahorrar más y conllevar menos riesgo.
Patterson y sus colegas de Google estimaron en 2021 que la elección del modelo, el centro de datos y el procesador puede cambiar la huella de carbono del entrenamiento hasta unas 100 a 1.000 veces. La mayor parte de ese margen está en sus manos. Antes de cambiar nada, configure la medición de la energía con el mismo hardware y la misma carga, para quedarse solo con los cambios que ahorran energía sin perjudicar la calidad. La velocidad no es un indicador fiable: un cambio puede ser más rápido y consumir más, o más lento y consumir menos.
¿Puedo evitar entrenar desde cero?
Normalmente, sí: parta de un modelo preentrenado y adapte solo lo que necesite.
- Ajuste fino eficiente en parámetros. LoRA entrena pequeñas matrices adaptadoras de bajo rango en lugar del modelo completo. Frente al ajuste fino completo de GPT-3 175B, sus autores informaron de 10.000 veces menos parámetros entrenables y tres veces menos memoria de GPU. QLoRA combina esto con pesos de 4 bits y ajustó un modelo de 65.000 millones de parámetros en una sola GPU de 48 GB.
- Recuperación en lugar de reentrenamiento. Ponga los datos que cambian en un índice consultable y recupérelos en el momento de la consulta. Ajuste el modelo para habilidades y estilo, no para datos.
- Fusión de modelos (souping). Según Wortsman y sus colegas, promediar los pesos de modelos ajustados a partir de la misma base puede superar al mejor modelo individual sin coste de inferencia adicional. Fusionar ajustes especializados es una forma de reutilizar trabajo ya pagado.
- Aprendizaje continuo. Actualice un modelo de forma incremental en lugar de reentrenarlo desde cero cuando cambien los datos.
¿Cómo ayudan la poda y la dispersión?
La mayoría de los pesos de una red entrenada pueden eliminarse o dejarse inactivos con poca pérdida, lo que supone menos cálculo y memoria por respuesta.
- La poda no estructurada elimina pesos individuales. SparseGPT podó modelos de la familia GPT hasta al menos un 50% de dispersión de una sola vez, sin reentrenar, con una pérdida mínima de precisión, y llegó al 60% en los mayores modelos abiertos de la época con un aumento insignificante de la perplejidad.
- La poda estructurada elimina neuronas, cabezales o capas completos, algo que el hardware corriente puede aprovechar con más facilidad.
- La dispersión de activaciones deja inactivas la mayoría de las neuronas para una entrada dada.
- Los modelos de mezcla de expertos (mixture-of-experts) envían cada token a unas pocas subredes especializadas. Patterson y sus colegas comprobaron que los modelos grandes con activación dispersa pueden usar menos de una décima parte de la energía de los modelos grandes densos. Aun así, todos los expertos tienen que estar en memoria.
Una advertencia de un sandpit (taller intensivo) británico sobre IA verde celebrado en 2026, con matemáticos, informáticos y representantes de la industria: la dispersión se aprovecha poco, en parte porque el hardware y las bibliotecas están pensados para cálculos densos. Compruebe que su entorno de ejecución convierte realmente la dispersión en energía ahorrada. El sandpit también abordó el uso de la teoría de matrices aleatorias para elegir niveles de dispersión antes del entrenamiento, y aproximaciones dispersas de la atención que pueden incorporarse a modelos preentrenados. Consulte matemáticas para una IA eficiente.
¿Y la cuantización, la destilación y la precisión mixta?
Use menos bits y modelos más pequeños siempre que el nivel de calidad lo permita.
| Técnica | Qué hace | Resultado publicado |
|---|---|---|
| Cuantización | Almacena y calcula los pesos en 8 o 4 bits en lugar de 16 o 32 | LLM.int8() redujo a la mitad la memoria de inferencia sin pérdida de calidad hasta 175.000 millones de parámetros; la UNESCO y el UCL informan de que la compresión de modelos, como la cuantización, ahorra hasta un 44% de energía |
| Destilación | Entrena a un "alumno" pequeño para imitar a un "profesor" grande | DistilBERT era un 40% más pequeño y un 60% más rápido que BERT y conservaba el 97% de su comprensión del lenguaje |
| Precisión mixta | Entrena en media precisión con una copia maestra en precisión completa | Redujo casi a la mitad el uso de memoria en el entrenamiento (Micikevicius et al.) |
Pruebe cada técnica con su propio conjunto de evaluación. Hugging Face señala que la cuantización puede añadir latencia cuando una carga de trabajo no está limitada por la memoria, así que mida la energía y la latencia por solicitud antes y después.
¿Cómo sirvo los modelos de forma eficiente?
Mantenga el acelerador ocupado con trabajo útil y evite recalcular nada. Una GPU infrautilizada sigue consumiendo una potencia considerable.
- Agrupe las solicitudes en lotes. Los motores de servicio con procesamiento continuo por lotes agrupan las solicitudes simultáneas. PagedAttention de vLLM, que gestiona la caché KV como si fuera memoria virtual, multiplicó por 2 a 4 el rendimiento de los sistemas anteriores con la misma latencia.
- Use bien la caché KV. Guarde en caché las claves y los valores de los tokens anteriores; use una caché estática con un paso hacia delante compilado cuando su biblioteca lo admita.
- Active las rutas optimizadas. Los pesos en media precisión, los núcleos de atención eficientes (como SDPA o FlashAttention) y la compilación suelen estar disponibles, pero desactivados por defecto.
- Decodificación especulativa. Un pequeño modelo borrador propone tokens que el modelo grande comprueba. Leviathan y sus colegas informaron de una generación de 2 a 3 veces más rápida en T5-XXL con resultados idénticos.
- Limite la longitud de la salida a lo que necesita la tarea, y guarde en caché las respuestas a solicitudes idénticas.
- Compare entornos de ejecución y hardware. Evalúe dos o tres pilas de servicio con sus tamaños de lote reales.
¿Cuándo y dónde deben ejecutarse los trabajos?
Ejecute el trabajo flexible cuando y donde la electricidad sea más limpia, pero considérelo un extra que se suma a la eficiencia, no un sustituto de ella.
- Desplace en el tiempo. Las ejecuciones de entrenamiento, las evaluaciones y la inferencia por lotes a menudo pueden esperar horas. Planifíquelas según una previsión de intensidad de carbono; herramientas como CATS envuelven los trabajos del clúster para hacerlo. En Gran Bretaña, la Carbon Intensity API publica previsiones regionales.
- Haga que los trabajos largos puedan pausarse. Guarde puntos de control con regularidad, incluido el estado del optimizador, para que un trabajo pueda pausarse cuando la red eléctrica sea más sucia y reanudarse después sin perder trabajo.
- Elija región y hardware. Cuando la latencia no importe, prefiera una región con bajas emisiones de carbono y aceleradores eficientes, teniendo en cuenta el coste de mover los datos. Consulte alojamiento y centros de datos.
- Vigile la energía absoluta. La planificación consciente del carbono cambia cuándo se ejecuta el trabajo, no cuánta energía consume. Haga un seguimiento de la energía por unidad de trabajo junto con el carbono.
Lista de comprobación
- [ ] Energía medida antes y después de cada cambio, con la misma configuración y varias ejecuciones
- [ ] Modelo preentrenado y adaptadores considerados antes de entrenar desde cero
- [ ] Recuperación usada para los datos cambiantes en lugar de reentrenar
- [ ] Poda, cuantización o destilación probadas frente al nivel de calidad
- [ ] Precisión mixta usada en el entrenamiento
- [ ] Procesamiento por lotes, optimización de la caché KV y atención eficiente activados al servir
- [ ] Longitud de la salida limitada; solicitudes idénticas en caché
- [ ] Trabajos flexibles con puntos de control y planificados para horas más limpias
- [ ] Energía y hardware del entrenamiento registrados en la ficha del modelo
Qué hacer a continuación
- Añada un registrador de emisiones como CodeCarbon a sus scripts de entrenamiento y evaluación, y ponga la energía junto a la precisión en su tabla de resultados.
- Pruebe LoRA o QLoRA en su próximo ajuste fino y compárelo con el ajuste fino completo.
- Pruebe una versión de 8 bits y otra de 4 bits de su modelo desplegado con su conjunto de evaluación.
- Evalúe su pila de servicio con el procesamiento por lotes y la ruta de atención optimizada activados.
- Envuelva un trabajo recurrente del clúster en un planificador consciente del carbono.
- Busque formación en el directorio de cursos y trabajos relacionados en investigación y doctorados.
Preguntas frecuentes
¿La cuantización reduce la precisión?
A veces, ligeramente; con 8 bits a menudo no se nota. Pruebe siempre el modelo cuantizado con su propio conjunto de evaluación, y tenga en cuenta que la cuantización puede añadir latencia cuando una carga de trabajo no está limitada por la memoria.
¿Qué es una caché KV?
Cuando un transformer genera texto, almacena las matrices de claves y valores de los tokens anteriores para no recalcularlas en cada paso. Gestionar bien esa caché es una de las mayores fuentes de eficiencia al servir modelos.
¿Qué cuesta más energía, el entrenamiento o la inferencia?
Depende de lo mucho que se use el modelo. El entrenamiento es un gran coste puntual; la inferencia se paga en cada solicitud, por lo que en los modelos populares suele predominar a lo largo de su vida útil.
¿Qué es la fusión de modelos o *souping*?
Promediar los pesos de varios modelos ajustados a partir del mismo punto de partida. El resultado funciona como un único modelo, sin coste de inferencia adicional, y puede superar al mejor modelo individual.
Fuentes
- LoRA: Low-Rank Adaptation of Large Language Models, Hu et al. (arXiv 2106.09685) (2021)
- QLoRA: Efficient Finetuning of Quantized LLMs, Dettmers et al. (arXiv 2305.14314) (2023)
- SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot, Frantar and Alistarh (arXiv 2301.00774) (2023)
- LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale, Dettmers et al. (arXiv 2208.07339) (2022)
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
- Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- Fast Inference from Transformers via Speculative Decoding, Leviathan et al. (arXiv 2211.17192) (2022)
- Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al. (arXiv 2203.05482) (2022)
- Carbon Emissions and Large Neural Network Training, Patterson et al. (arXiv 2104.10350) (2021)
- AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO (2025)
- Optimizing inference, Hugging Face Transformers documentation (2025)
- Green Software Patterns: carbon-aware scheduling and region selection for AI workloads, Green Software Foundation (2025)
- CATS: Climate-Aware Task Scheduler, GreenScheduler (2025)
Relacionado
Cómo medir la energía y el carbono de la IA
Guía práctica para medir o estimar la energía y el carbono del trabajo con IA: herramientas, límites del sistema, métricas por tarea e incertidumbre honesta.
Elija el modelo adecuado para cada tarea
Cómo dimensionar bien la IA: cuándo usar modelos pequeños o especializados, cuándo compensa un modelo de frontera, cómo funciona el enrutamiento y cuándo no usar IA.
Las matemáticas que hacen la IA más eficiente
Poda, dispersión, sketching, teoría de matrices aleatorias y modelos informados por la física: cómo las matemáticas reducen el cómputo y la energía de la IA.
Alojamiento y centros de datos para una IA verde
Cómo elegir dónde se ejecuta la IA: intensidad de carbono de la red, PUE y WUE, energía renovable, uso del agua y ubicación, con preguntas para proveedores.