En resumen
Combine su modelo grande con un pequeño modelo borrador de la misma familia: el borrador propone varios tokens y el modelo grande los verifica en una sola pasada, quedándose solo con los que coinciden con los suyos. La salida es la misma que la del modelo grande solo, y el estudio original informó de una inferencia entre 2 y 3 veces más rápida. Compruebe que su sistema de servicio lo admite y luego mida la energía por solicitud, no solo la velocidad.
Pasos
- Compruebe si su biblioteca de inferencia o su motor de servicio admite la decodificación especulativa o asistida.
- Elija un modelo borrador pequeño que comparta el tokenizador del modelo grande.
- Actívela y confirme que las salidas coinciden con su propia carga de trabajo.
- Mida la energía por solicitud y la latencia con sus tamaños de lote reales.
- Consérvela solo si baja la energía por solicitud, no solo la latencia.
Deje que un modelo pequeño haga las conjeturas y que el modelo grande haga la verificación. Los modelos grandes generan un token cada vez, manteniendo ocupado un hardware grande para cada palabra; la decodificación especulativa les permite confirmar varios tokens a la vez.
¿Cómo funciona?
Un pequeño modelo borrador propone rápidamente los siguientes tokens. El gran modelo objetivo los verifica todos en una sola pasada hacia delante y acepta los que él mismo habría producido. Donde no coincide, sustituye el token por el suyo y el borrador continúa. Leviathan, Kalman y Matias demostraron una aceleración de 2 a 3 veces en el modelo T5-XXL con salidas idénticas. La documentación de Hugging Face señala que no hay pérdida de precisión, porque la pasada de verificación garantiza que se generen las mismas salidas.
Entre las variantes está la decodificación por búsqueda en el prompt (prompt lookup decoding), que toma los borradores del texto que ya está en el prompt y es adecuada para tareas como editar o resumir, en las que la respuesta repite la entrada.
¿Más rápido significa más ecológico?
No automáticamente. Ahora ejecuta dos modelos, y el grande hace un trabajo adicional de verificación. Que baje la energía por solicitud depende de la frecuencia con que se aceptan los borradores, de su tamaño de lote y de su hardware. Investigadores de GreenCode hallaron con llama.cpp que la energía y la velocidad pueden contar historias distintas: un cambio ahorró un 4,7% de energía de GPU con una mejora de velocidad de solo el 3%. Mida la energía directamente.
Errores frecuentes
- Un modelo borrador demasiado grande, que lo ralentiza todo.
- Tokenizadores distintos entre el borrador y el objetivo.
- Probar con una carga de trabajo distinta de la de producción; las tasas de aceptación varían según la tarea.
Para otras técnicas de servicio, consulte cómo reducir la energía de servir un modelo y entrenamiento e inferencia eficientes.
Fuentes
- Fast inference from transformers via speculative decoding, Leviathan, Kalman and Matias, ICML 2023 (2022)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
Relacionado
¿Cómo reduzco la energía de servir un modelo en producción?
Cómo servir un modelo autoalojado con menos energía por solicitud: entornos de ejecución eficientes, lotes, media precisión, cachés compiladas y hardware probado.
¿Cómo agrupo las solicitudes de IA en lotes para ahorrar energía?
Cómo el procesamiento por lotes aumenta el uso del acelerador y reduce la energía por respuesta: lotes continuos en directo y lotes en cola para trabajo diferido.
Entrenamiento e inferencia eficientes de la IA
Técnicas para reducir la energía de la IA: poda, dispersión, cuantización, destilación, caché KV, procesamiento por lotes, precisión mixta y planificación.
Las matemáticas que hacen la IA más eficiente
Poda, dispersión, sketching, teoría de matrices aleatorias y modelos informados por la física: cómo las matemáticas reducen el cómputo y la energía de la IA.