En resumen
Instale un ejecutor local como Ollama o llama.cpp, descargue un modelo pequeño de pesos abiertos en un formato cuantizado como GGUF y ejecútelo en su propio ordenador. Elija el modelo más pequeño que haga su tarea: las versiones cuantizadas necesitan mucha menos memoria, así que un modelo de 8.000 millones de parámetros que necesita unos 16 GB en formato de 16 bits cabe en unos 4–5 GB con 4 bits.
Pasos
- Compruebe la memoria de su ordenador y si tiene una GPU utilizable o un chip de Apple (Apple silicon).
- Instale un ejecutor local como Ollama o llama.cpp.
- Descargue un modelo pequeño de pesos abiertos en un formato cuantizado que quepa en su memoria.
- Pruébelo con sus tareas reales y pase a un tamaño mayor solo si se queda corto.
- Mida su energía con un medidor de enchufe o una herramienta como CodeCarbon.
- Cierre el modelo cuando no lo use para que no retenga memoria ni consuma energía.
Ejecutar un modelo en local significa elegir un ejecutor, un modelo que quepa y luego medir. Mantiene los datos en su máquina y le permite ver exactamente lo que cuesta la IA en energía, algo que un servicio alojado nunca le muestra.
¿Qué necesito?
- Un ejecutor. Ollama es una forma popular de usar modelos abiertos en su propio ordenador. llama.cpp es un motor de más bajo nivel en C/C++ pensado para ejecutar modelos con una configuración mínima en una gran variedad de hardware.
- Un archivo de modelo. GGUF es un formato binario optimizado para una carga rápida y una inferencia eficiente, con versiones cuantizadas desde menos de 2 bits hasta 8 bits por peso.
- Memoria suficiente. La documentación de Hugging Face da una regla práctica: un modelo de 8.000 millones de parámetros necesita unos 16 GB para sus pesos en formato de 16 bits, unos 8 GB con 8 bits y unos 4–5 GB con 4 bits. Menos bits cuestan algo de precisión.
¿Es más ecológico que la nube?
No automáticamente. Un portátil que atiende una solicitud cada vez puede ser menos eficiente por respuesta que un servidor de centro de datos ocupado y con buenos lotes. Lo local gana cuando el modelo es pequeño, la tarea es frecuente o evita enviar muchos datos por la red. Consulte dispositivo o nube.
Errores frecuentes
- Descargar el modelo más grande que admite su máquina. Empiece por uno pequeño; consulte elegir un modelo de IA más pequeño.
- Dejar el modelo cargado todo el día en un ordenador de sobremesa con una GPU que consume mucho.
- Comprar una GPU nueva antes de probar un modelo cuantizado; consulte cómo cuantizar un modelo.
Para comprobar la energía, use un medidor de enchufe o CodeCarbon, como se describe en medir la energía que usa la IA en su propio ordenador. Para las ventajas e inconvenientes, lea en el dispositivo o en la nube.
Fuentes
- Ollama documentation, Ollama (2026)
- llama.cpp: LLM inference in C/C++, ggml-org (GitHub) (2026)
- GGUF, Hugging Face Hub documentation (2026)
- Quantization overview, Hugging Face Transformers documentation (2026)
- CodeCarbon, CodeCarbon (2026)
Relacionado
¿Cómo cuantizo un modelo?
Cómo cuantizar un modelo de IA a 8 o 4 bits: qué herramientas usar, cómo probar la calidad y cuándo la cuantización ahorra energía y cuándo no.
¿Cómo decido entre ejecutar la IA en mi dispositivo o en la nube?
Cómo sopesar la IA en el dispositivo (edge) frente a la IA en la nube en energía, privacidad y calidad, qué tareas conviene a cada una y los límites de la evidencia.
¿Cómo mido la energía que usa la IA en mi propio ordenador o GPU?
Mida la energía de la IA local con contadores de hardware, telemetría de la GPU o un medidor de enchufe, muestree todo el trabajo y reste el consumo en reposo.
Borde o nube: ¿dónde debe ejecutarse la IA?
Cómo comparar la IA en el dispositivo y en el borde con los centros de datos: energía, red, hardware, privacidad y resiliencia, con un método paso a paso para decidir.