greenai.guide

Inicio › ¿Cómo puedo…? › ¿Cómo evito que mi chatbot reenvíe toda la conversación?

¿Cómo puedo…?

¿Cómo evito que mi chatbot reenvíe toda la conversación?

Actualizado · 1 min de lectura

En resumen

La mayoría de las funciones de chat reenvían al modelo toda la conversación en cada turno, así que la entrada crece con cada mensaje. Limite cuántos turnos anteriores envía, resuma los más antiguos en una nota breve, recupere solo los mensajes o documentos anteriores que importen y guarde en caché los prompts de sistema fijos. Las entradas largas cuestan mucha más energía que las cortas.

Pasos

  1. Registre los tokens de entrada por turno para que el crecimiento sea visible.
  2. Envíe literalmente solo los últimos turnos.
  3. Sustituya los turnos más antiguos por un resumen breve y continuo.
  4. Recupere los mensajes o documentos anteriores solo cuando sean pertinentes para la nueva pregunta.
  5. Use la caché de prompts para el prompt de sistema fijo y el contexto compartido.

Envíe al modelo lo que necesita para este turno, no todo lo que se ha dicho alguna vez. El contexto que crece sin límite es uno de los costes ocultos más frecuentes en las funciones de chat.

¿Por qué importa?

La energía aumenta con la cantidad de texto que lee un modelo. Delavande, Pierrard y Luccioni hallaron que la energía crece de forma lineal con la longitud del prompt y de la generación. Epoch AI estima que una consulta típica de unos 0,3 Wh sube a unos 2,5 Wh con una entrada de 10.000 tokens y a casi 40 Wh con una entrada de 100.000 tokens. Un chat de soporte largo que reenvía todos los turnos puede desplazarse hacia el extremo caro sin que nadie lo note.

¿Cómo mantengo pequeño el contexto?

  • Una ventana deslizante. Conserve literalmente los últimos turnos.
  • Un resumen continuo. Cada pocos turnos, pida a un modelo pequeño (o a su propio código) que comprima el historial antiguo en una nota breve de decisiones y datos.
  • Recuperación. Guarde los mensajes y documentos anteriores, y recupere solo los pertinentes para la nueva pregunta.
  • Caché de prompts. Para las instrucciones fijas, consulte cómo usar la caché.
  • Empezar de cero. Ofrezca un botón de «nuevo tema» que inicie un contexto limpio.

Errores frecuentes

  • Volver a adjuntar el mismo documento en cada turno en lugar de recuperar el fragmento pertinente.
  • Resúmenes que pierden datos clave. Compruebe que las respuestas siguen siendo correctas tras resumir.
  • No medir. Sin registros de tokens de entrada, el crecimiento es invisible.

Los usuarios pueden hacer lo mismo en las herramientas de consumo: consulte cómo evitar que los chats largos con IA desperdicien energía. Para más hábitos, lea usar la IA de forma eficiente.

Fuentes

  1. How much energy does ChatGPT use?, Epoch AI (2025)
  2. Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
  3. What are tokens and how to count them?, OpenAI Help Center (2025)

Únase a nosotros

Ayude a reducir el impacto de la IA en el planeta

Reciba por correo electrónico nuevas guías, convocatorias de financiación y fichas de los directorios, aproximadamente una vez al mes. O añada su producto, curso, doctorado o investigación a los directorios.

Sin seguimiento. Cancele la suscripción con un clic. Otras formas de unirse · Privacidad