Hace aproximadamente un año, herramientas como ChatGPT, basadas en modelos de lenguaje a gran escala (LLM), salieron a la luz y nos hicieron reflexionar sobre cómo podríamos utilizarlas mejor como especialistas en marketing digital.
Cómo funciona ChatGPT
Empecemos con los pasos que tiene que seguir ChatGPT, para dar respuesta a una pregunta.
Al igual que sucede con los motores de búsqueda, lo primero es recopilar los datos. Posteriormente, se guardan (esos datos) en un formato al que se puede acceder, y, finalmente, se ofrece una respuesta, en lo que supone algo así como un proceso de clasificación.
La recopilación de datos es la parte que se asemeja más a lo que hacen los motores de búsqueda, un proceso que conocemos de sobra en el sector. Rastrean la web y acceden a diferentes sitios como las arañas de los buscadores, pero están en franca desventaja con respecto a ellos por una simple cuestión de tiempo: no llevan décadas haciéndolo.
Ahora bien, una fuente de información a la que pueden acceder, al contrario de otros motores de búsqueda, son las propias sesiones de chat. Al entablar una conversación con ChatGPT, le estás entrenando y puede incorporar información a su corpus de datos. Esto, obviamente, tiene implicaciones para tu privacidad y debes tenerlo en cuenta.
La segunda etapa consiste en guardar esa información, lo que, en SEO, llamamos indexación. Aquí, las cosas divergen un poco, pero aún hay paralelismos.
En los primeros tiempos, el índice de los motores de búsqueda (los datos que habían almacenado), no se actualizaba en tiempo real, como pasa ahora, sino que se hacía una vez cada pocos meses, porque era un proceso muy costoso en tiempo y, por tanto, en dinero. Éste es el momento en que se encuentran ahora los modelos de lenguaje.
Cuando trabajas con ChatGPT u otro modelo de lenguaje, encuentras que muchas de las respuestas que ofrece están desactualizadas, son irrelevantes e, incluso, incongruentes. Y es que, añadir nueva información a la plataforma, supone volver a entrenar al modelo de nuevo.
Para lidiar con estas limitaciones, la dinámica de trabajo recurrente es proporcionar el mayor contexto posible al modelo. Lo que se pretende es rellenar las lagunas que existen en el corpus de conocimientos de la herramienta mediante una suerte de memoria a corto plazo, que son los numerosos datos que proporcionamos el los prompts.
Lo interesante es que, en cualquier caso, eso es lo que sucede por debajo, en segundo plano. Cuando mantienes una conversación con ChatGPT, el modelo ni siquiera recuerda su última respuesta. Lo que sucede es que, cada vez que envías un mensaje, se ejecuta un script que copia toda la conversación: el mensaje que envías en realidad es toda una conversación entre un bot y una persona.
Es importante conocer estas limitaciones al interactuar con un modelo de lenguaje, ya que nos estamos apoyando plenamente en la capacidad del modelo para volcar y gestionar el contexto que le proporcionamos durante la interacción
Ventanas de contexto
Si proporcionar contexto es clave en la interacción con el modelo, resulta evidente que es un problema que exista un límite en la cantidad de información que podemos copiar.
Sin embargo, con OpenAI GPT-4.5, es posible pegar unas 300 páginas de texto. Anthropic, otro competidor clave, permite alrededor de 500. De modo que podemos decir que estas limitaciones han sido superadas.
Pero ChatGPT debe seguir enfrentándose con otros problemas.
Qué problemas necesita superar ChatGPT todavía
Hemos dicho que ya es posible copiar hasta 500 páginas de texto, pero, lógicamente, eso está muy lejos de ser la totalidad de Internet. No podemos fiarlo todo a esa memoria a corto plazo.
Otra de las cuestiones parte de una investigación que ha constatado que, al poner mucha información en las solicitudes, lo más importante queda enterrado como en una maraña de datos.
De hecho, una recomendación que puedes tomar de este artículo, es que no necesitas pagar por un modelo más caro, capaz de procesar más información, si consigues sintetizar tu pregunta y centrarte en lo relevante desde el primer momento. De lo contrario, confundirás al modelo en el camino.
Lanza tus instrucciones en bloques condensados y cambia a otra ventana de chat si el tema se desvía. Huye de los mega prompts.
Retrieval Augmented Generation
Podríamos traducir RAG, por su siglas en inglés, como generación aumentada de recuperación. La RAG supone una solución más tecnológica o empresarial y es, sin duda, una industria en crecimiento.
En puridad, RAG es combinar un modelo de recuperación, diseñado para buscar grandes bases de conocimiento, con un modelo de generación, como de hecho es un LLM.
En el modelo RAG, la consulta que se lanza al modelo de lenguaje se hace pasando por una base de datos separada, donde hemos inclido la información relevante (véase, la documentación interna de nuestra empresa). De esta base de datos es de donde se extrae lo que debe formar parte de la consulta, agregándose de forma orgánica al contexto y automatizando enormemente los procesos y mejorando el propio modelo.
A nivel técnico, se trabaja con bases de datos vectoriales, que tienen una lógica compatible con los modelos de lenguaje a gran escala por lo que funcionan de forma sinérgica.
Como suele suceder con todos los modelos emergentes, RAG es muy costoso. Pero, del mismo modo, es el futuro y se irá mejorando y optimizando. Si estás pensando redirigir tu carrera, puede ser una opción interesante.