greenai.guide

Inicio › ¿Cómo puedo…? › ¿Cómo ejecuto un modelo de IA en local?

¿Cómo puedo…?

¿Cómo ejecuto un modelo de IA en local?

Actualizado · 2 min de lectura

En resumen

Instale un ejecutor local como Ollama o llama.cpp, descargue un modelo pequeño de pesos abiertos en un formato cuantizado como GGUF y ejecútelo en su propio ordenador. Elija el modelo más pequeño que haga su tarea: las versiones cuantizadas necesitan mucha menos memoria, así que un modelo de 8.000 millones de parámetros que necesita unos 16 GB en formato de 16 bits cabe en unos 4–5 GB con 4 bits.

Pasos

  1. Compruebe la memoria de su ordenador y si tiene una GPU utilizable o un chip de Apple (Apple silicon).
  2. Instale un ejecutor local como Ollama o llama.cpp.
  3. Descargue un modelo pequeño de pesos abiertos en un formato cuantizado que quepa en su memoria.
  4. Pruébelo con sus tareas reales y pase a un tamaño mayor solo si se queda corto.
  5. Mida su energía con un medidor de enchufe o una herramienta como CodeCarbon.
  6. Cierre el modelo cuando no lo use para que no retenga memoria ni consuma energía.

Ejecutar un modelo en local significa elegir un ejecutor, un modelo que quepa y luego medir. Mantiene los datos en su máquina y le permite ver exactamente lo que cuesta la IA en energía, algo que un servicio alojado nunca le muestra.

¿Qué necesito?

  • Un ejecutor. Ollama es una forma popular de usar modelos abiertos en su propio ordenador. llama.cpp es un motor de más bajo nivel en C/C++ pensado para ejecutar modelos con una configuración mínima en una gran variedad de hardware.
  • Un archivo de modelo. GGUF es un formato binario optimizado para una carga rápida y una inferencia eficiente, con versiones cuantizadas desde menos de 2 bits hasta 8 bits por peso.
  • Memoria suficiente. La documentación de Hugging Face da una regla práctica: un modelo de 8.000 millones de parámetros necesita unos 16 GB para sus pesos en formato de 16 bits, unos 8 GB con 8 bits y unos 4–5 GB con 4 bits. Menos bits cuestan algo de precisión.

¿Es más ecológico que la nube?

No automáticamente. Un portátil que atiende una solicitud cada vez puede ser menos eficiente por respuesta que un servidor de centro de datos ocupado y con buenos lotes. Lo local gana cuando el modelo es pequeño, la tarea es frecuente o evita enviar muchos datos por la red. Consulte dispositivo o nube.

Errores frecuentes

  • Descargar el modelo más grande que admite su máquina. Empiece por uno pequeño; consulte elegir un modelo de IA más pequeño.
  • Dejar el modelo cargado todo el día en un ordenador de sobremesa con una GPU que consume mucho.
  • Comprar una GPU nueva antes de probar un modelo cuantizado; consulte cómo cuantizar un modelo.

Para comprobar la energía, use un medidor de enchufe o CodeCarbon, como se describe en medir la energía que usa la IA en su propio ordenador. Para las ventajas e inconvenientes, lea en el dispositivo o en la nube.

Fuentes

  1. Ollama documentation, Ollama (2026)
  2. llama.cpp: LLM inference in C/C++, ggml-org (GitHub) (2026)
  3. GGUF, Hugging Face Hub documentation (2026)
  4. Quantization overview, Hugging Face Transformers documentation (2026)
  5. CodeCarbon, CodeCarbon (2026)

Únase a nosotros

Ayude a reducir el impacto de la IA en el planeta

Reciba por correo electrónico nuevas guías, convocatorias de financiación y fichas de los directorios, aproximadamente una vez al mes. O añada su producto, curso, doctorado o investigación a los directorios.

Sin seguimiento. Cancele la suscripción con un clic. Otras formas de unirse · Privacidad