En resumen
Busque un modelo preentrenado cercano a su tarea y adáptelo: hágale un ajuste fino, entrene un pequeño adaptador como LoRA o añada conocimiento mediante recuperación en lugar de reentrenar. Si ya tiene varios modelos ajustados a partir de la misma base, promediar sus pesos puede mejorar la precisión sin coste adicional de inferencia. Entrenar desde cero rara vez es necesario fuera de la investigación sobre modelos fundacionales.
Pasos
- Busque en repositorios públicos de modelos preentrenados de su ámbito y su idioma.
- Pruebe los candidatos más cercanos en su tarea antes de concluir que falta algo.
- Haga un ajuste fino o entrene un adaptador LoRA con sus propios datos.
- Use la recuperación para el conocimiento que cambia, en lugar de reentrenar.
- Reutilice y fusione modelos ajustados a partir de la misma base cuando los tenga.
- Publique su modelo ajustado y sus emisiones de entrenamiento para que otros puedan reutilizarlo.
Reutilice primero. Casi siempre alguien ha entrenado ya un modelo cercano a lo que necesita, y adaptarlo cuesta una pequeña fracción de lo que cuesta entrenar uno propio.
¿Por qué importa?
El preentrenamiento es la etapa de mayor consumo energético en la vida de un modelo. Los patrones de la Green Software Foundation recomiendan aprovechar modelos preentrenados y el aprendizaje por transferencia en lugar de entrenar desde cero. Un sandpit británico de IA verde celebrado en 2026, con matemáticos, informáticos y representantes de la industria, señaló además que mucho trabajo útil se encuentra en repositorios poco conocidos, por lo que una búsqueda cuidadosa es el primer paso de cualquier proyecto.
¿Qué opciones hay?
- Ajuste fino de un modelo preentrenado con sus datos. Con LoRA, Hu y sus colegas redujeron 10.000 veces los parámetros entrenables en comparación con el ajuste fino completo de GPT-3 175B. Consulte cómo hacer un ajuste fino sin una enorme capacidad de cómputo.
- Recuperación para el conocimiento que cambia: consulte recuperación o ajuste fino.
- Fusión de modelos. Wortsman y sus colegas demostraron que promediar los pesos de varios modelos ajustados a partir de la misma base, una «sopa de modelos» (model soup), puede mejorar la precisión sin aumentar el tiempo de inferencia.
- Destilación en un pequeño especialista: consulte cómo destilar un modelo.
Errores frecuentes
- Suponer que su ámbito es demasiado especializado. Pruebe primero modelos generales y de dominio; a menudo se acercan bastante.
- Ignorar las licencias, que pueden impedir algunas formas de reutilización.
- No compartir a cambio. Publicar su modelo ajustado, con las emisiones de entrenamiento en los metadatos de la tarjeta del modelo, como permite Hugging Face, evita que otros repitan su trabajo.
Para la perspectiva de investigación, lea matemáticas para una IA eficiente.
Fuentes
- Green Software Patterns: leverage pre-trained models and transfer learning, Green Software Foundation (2025)
- Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)
- Displaying carbon emissions for your model, Hugging Face Hub documentation (2026)
Relacionado
¿Cómo hago el ajuste fino de un modelo sin una enorme capacidad de cómputo?
Cómo adaptar un modelo preentrenado con ajuste fino eficiente en parámetros, como LoRA y QLoRA, para que quepa en una GPU y consuma mucha menos energía.
¿Cómo elijo entre recuperación y ajuste fino para ahorrar energía?
Cuándo usar recuperación (RAG) y cuándo ajuste fino: recuperación para datos que cambian, ajuste fino para habilidades y estilo, y por qué confundirlos derrocha energía.
¿Cómo reduzco la energía de entrenar un modelo?
Las palancas para reducir la energía del entrenamiento: partir de un preentrenado, ajustar el tamaño, precisión mixta, parada temprana, lugar y hora limpios.
Las matemáticas que hacen la IA más eficiente
Poda, dispersión, sketching, teoría de matrices aleatorias y modelos informados por la física: cómo las matemáticas reducen el cómputo y la energía de la IA.