Los LLM no son aplicaciones independientes: se trata de modelos estadísticos previamente entrenados que deben combinarse con una aplicación (y, en algunos casos, con determinadas fuentes de datos) para cumplir su función.
Por ejemplo, Chat-GPT no es un LLM: es una aplicación de chatbot que, dependiendo de la versión que se haya elegido, utiliza el modelo de lenguaje GPT-3.5 o GPT-4. Mientras que es el modelo GPT el que interpreta la entrada del usuario e incluye una respuesta en lenguaje natural, la aplicación es la que (entre otras cosas) brinda una interfaz para que el usuario escriba y lea y un diseño UX que rige la experiencia del chatbot. Incluso a nivel empresarial, Chat-GPT no es la única aplicación que utiliza el modelo GPT: Microsoft utiliza GPT-4 para impulsar Bing Chat.
Además, aunque los modelos fundacionales (como los que impulsan los LLM) están previamente entrenados con conjuntos de datos masivos datasets, no son omniscientes. Si una tarea en particular requiere acceso a información contextual específica, como documentación interna o experiencia en determinada área, los LLM deben estar conectados a esas fuentes de datos externas. Incluso si solo desea que su modelo refleje conciencia en tiempo real de los eventos actuales, requiere información externa: los datos internos de un modelo solo están actualizados durante el período de tiempo en el que se realizó el entrenamiento.
Del mismo modo, si una tarea de IA generativa determinada requiere acceso a flujos de trabajo de software externos, por ejemplo, si desea que su agente virtual se integre con Slack, entonces necesitará una forma de integrar el LLM con la API para ese software.
Si bien estas integraciones generalmente se pueden lograr con código totalmente manual, los marcos de orquestación como LangChain y la cartera de productos de inteligencia artificial de IBM watsonx simplifican enormemente el proceso. Facilitan mucho la experimentación con diversos LLM para comparar resultados, ya que se pueden intercambiar fácilmente diferentes modelos con modificaciones mínimas en el código.