Los LLM no son aplicaciones independientes: son modelos estadísticos preentrenados que deben combinarse con una aplicación (y, en algunos casos, fuentes de datos específicas) para cumplir con su propósito.
Por ejemplo, ChatGPT no es un LLM: es una aplicación de chatbot que, dependiendo de la versión elegida, utiliza el modelo de lenguaje GPT-3.5 o GPT-4. Mientras que es el modelo GPT el que interpreta la entrada del usuario y compone una respuesta en lenguaje natural, es la aplicación la que (entre otras cosas) proporciona una interfaz para que el usuario escriba y lea y un diseño de experiencia de usuario que rige la experiencia del chatbot. Incluso a nivel empresarial, Chat-GPT no es la única aplicación que utiliza el modelo GPT: Microsoft utiliza GPT-4 para potenciar Bing Chat.
Además, aunque los modelos fundacionales (como los que impulsan los LLM) están preentrenados en conjuntos de datos masivos, no son omniscientes. Si una tarea en particular requiere acceso a información contextual específica, como documentación interna o experiencia en el dominio, los LLM deben estar conectados a esas fuentes de datos externas. Incluso si simplemente quiere que su modelo refleje la conciencia en tiempo real de los eventos actuales, requiere información externa: los datos internos de un modelo solo están actualizados durante el periodo de tiempo durante el cual se entrenó previamente.
Del mismo modo, si una tarea de IA generativa determinada requiere acceso a flujos de trabajo de software externos (por ejemplo, si desea que su agente virtual se integre con Slack), necesitará una forma de integrar el LLM con la API de ese software.
Aunque estas integraciones generalmente se pueden lograr con código totalmente manual, los marcos de orquestación como LangChain y el portfolio de productos de inteligencia artificial de IBM watsonx simplifican enormemente el proceso. También facilitan mucho la experimentación con distintos LLM para comparar resultados, puesto que se pueden intercambiar diferentes modelos con cambios mínimos en el código.