¿Qué es la fragmentación agéntica?

Los modelos de lenguaje de gran tamaño (LLM) no pueden procesar una gran secuencia de entrada basada en texto en su totalidad. La ventana de contexto de un modelo de procesamiento de lenguaje natural (PLN) determina la cantidad máxima de contenido que el modelo puede ingerir mientras mantiene la comprensión contextual. Los sistemas de machine learning (ML) utilizan técnicas de fragmentación para dividir los documentos en partes que se ajusten a la ventana de contexto del LLM.

El desarrollo de la generación aumentada por recuperación (RAG), que conecta los LLM a fuentes de datos externas, requirió la creación de sistemas de fragmentación. Los sistemas RAG surgieron para ayudar a contrarrestar el problema de las alucinaciones: cuando los LLM ofrecían respuestas que no reflejaban resultados o información del mundo real.

Los sistemas RAG ayudan a los LLM a generar respuestas más precisas y útiles combinándolas con bases de conocimiento adicionales. En muchos casos, las bases de conocimiento de RAG son bases de datos vectoriales que contienen documentos que dan acceso al LLM conectado a conocimientos específicos del dominio. Los modelos de incorporación convierten documentos en vectores matemáticos, luego hacen lo mismo para las consultas de los usuarios.

El sistema RAG encuentra incorporaciones dentro de su base de datos vectorial que representan información relevante y coinciden con la consulta del usuario. Luego, el LLM utiliza los datos recuperados para proporcionar a los usuarios respuestas más relevantes y precisas.

Pero debido a las limitaciones de la ventana de contexto, el LLM no puede procesar un solo documento a la vez. La fragmentación surgió como la solución. Al dividir un documento en partes, el LLM puede encontrar eficientemente fragmentos relevantes en tiempo real mientras mantiene la comprensión contextual.

La fragmentación de agentes permite a los LLM crear fragmentos significativos que les ayudan a proporcionar mejores respuestas, como con el caso de uso de RAG. Algunos métodos de fragmentación también tienen en cuenta la semántica, mientras que otros dividen los documentos en fragmentos más pequeños de longitud fija.

Otros métodos de fragmentación incluyen:

La estrategia más simple, la fragmentación de tamaño fijo, divide el texto en bloques del mismo tamaño, en función de un carácter preestablecido o un recuento de token. Un token es la cantidad mínima de texto que el LLM puede procesar, a menudo una palabra o una parte de ella.

Para evitar dividir oraciones, muchas implementaciones de fragmentación de tamaño fijo incluyen una característica que repite el final de un fragmento al comienzo del siguiente. La fragmentación de tamaño fijo es simple y computacionalmente ligera, pero es rígida: no puede tener en cuenta la densidad del contenido o la estructura del documento y puede crear fragmentos semánticamente incoherentes.

La fragmentación recursiva utiliza una lista jerárquica de separadores de texto predefinidos para dividir el texto de una manera que probablemente sea más coherente. Los separadores incluyen estructuras naturales, como párrafos, oraciones o palabras. En un documento de programación de Python, los separadores pueden incluir definiciones de clases y funciones.

En comparación con la fragmentación de tamaño fijo, la fragmentación recursiva crea fragmentos más coherentes siguiendo las separaciones naturales en el texto. El uso de Markdown también puede ayudar al algoritmo de fragmentación, o chunker, a descubrir dónde hacer divisiones. RecursiveCharacterTextSplitter es un fragmentador popular disponible en LangChain.

Pero si el texto carece de separadores claros, los algoritmos de fragmentación recursiva no sabrán dónde crear nuevos fragmentos. La fragmentación recursiva también es más intensiva desde el punto de vista computacional que la fragmentación de tamaño fijo.

La fragmentación semántica utiliza modelos de incorporación para crear representaciones matemáticas de cada oración. Luego, el algoritmo de fragmentación crea fragmentos de oraciones semánticamente similares, creando un nuevo fragmento que detecta un cambio en la semántica. La fragmentación semántica se atribuye a Greg Kamradt, quien habló sobre la técnica en Github.¹

La fragmentación semántica es consciente del contexto, creando fragmentos en torno al flujo natural y el significado semántico del documento. Cuando el tema cambia, se crea un nuevo fragmento. Sin embargo, pueden surgir problemas cuando los párrafos tratan varios temas o si el umbral de fragmentación no se establece correctamente para el tipo y la estructura del documento.

La fragmentación semántica es más intensiva desde el punto de vista computacional que la fragmentación recursiva y de tamaño fijo, y requiere modelos avanzados para identificar el contenido semántico dentro del texto.

La fragmentación agéntica es un ejemplo de automatización agéntica: usando agentes de IA para automatizar un flujo de trabajo. En este caso, el flujo de trabajo que se automatiza de forma inteligente es el proceso de determinar cómo dividir un documento en fragmentos más pequeños que se ajusten a la ventana de contexto de un LLM.

IA agéntica se refiere al uso de sistemas de IA para tomar decisiones autónomas y actuar sin intervención humana. Con la fragmentación agéntica, el agente actúa por sí solo para determinar cómo separar el texto y etiquetar los fragmentos.

La fragmentación agéntica se basa en otros métodos de fragmentación para crear secciones superpuestas y división recursiva, luego aplica IA generativa para etiquetar cada fragmento con metadatos para facilitar la recuperación de RAG.

La fragmentación agéntica aún se encuentra en las etapas exploratorias. Los creadores comparten y debaten sus enfoques en GitHub. A menudo se crean con el lenguaje de programación Python utilizando marcos LLM como Llamaindex y Langchain junto con LLM de código abierto disponibles en Huggingface. 

Un flujo de trabajo de IA típico para la fragmentación agéntica puede contener estos pasos:

Mediante herramientas de automatización inteligentes, el texto se extrae del documento de origen, como un PDF, y se limpia. La limpieza de texto implica la eliminación de elementos superfluos, como números de página y pies de página, para que el LLM reciba solo texto sin procesar.

Los algoritmos de fragmentación recursiva dividen el texto en pequeños fragmentos para evitar cortar las oraciones en pedazos. Al igual que la fragmentación semántica, la fragmentación agéntica divide dinámicamente el texto en función del significado, la estructura y la concientización del contexto mediante la técnica de superposición de fragmentos.

Los LLM, como GPT de OpenAI, procesan, combinan y enriquecen los fragmentos. Los fragmentos más pequeños se combinan en otros más grandes que mantienen la coherencia semántica. El LLM enriquece cada fragmento con metadatos que incluyen un título y un resumen del contenido del fragmento. Los metadatos generados ayudan a los usos posteriores, como con los sistemas RAG agentivos.

Cada fragmento se convierte en una incorporación y se almacena en una base de datos vectorial. Los modelos de recuperación consultan la base de datos, utilizan la búsqueda semántica para encontrar fragmentos con metadatos relevantes y los incluyen en las instrucciones para el LLM en el sistema RAG.

La configuración de prompt_template en LangChain determina la instrucción de entrada dada al LLM. Aprenda más sobre cómo optimizar la fragmentación de RAG con LangChain y watsonx.ai.

En comparación con los métodos tradicionales de fragmentación, el dinamismo de la fragmentación agéntica y el etiquetado de metadatos lo convierten en una excelente opción para la implementación de RAG. Los beneficios incluyen:

• Recuperación eficiente: los títulos y resúmenes generados por IA para cada fragmento pueden ayudar a los sistemas RAG a encontrar información relevante más rápido en conjuntos de datos conectados.

• Respuestas precisas: la fragmentación semánticamente coherente con metadatos generados por IA puede ayudar a los sistemas RAG a aumentar las respuestas generadas con datos relevantes para obtener mejores respuestas.

• Flexibilidad: la fragmentación impulsada por IA puede manejar una amplia gama de tipos de documentos. Los sistemas de fragmentación de agentes pueden integrarse con varias cadenas LLM y RAG para seguir el ritmo del crecimiento y la expansión del proyecto.

• Preservación del contenido: los sistemas de fragmentación de agentes se basan en métodos de fragmentación anteriores para crear fragmentos que preserven el significado semántico y la coherencia.