El resumen es la capacidad de condensar documentos extensos en un texto breve que recoja los puntos clave del original. Desde una perspectiva tecnológica, el resumen es un desafío porque requiere una amplia gama de capacidades: comprender largos pasajes de texto, identificar puntos y temas clave y generar un nuevo texto que capture la intención del trabajo más amplio. Afortunadamente, los modelos de lenguaje de gran tamaño (LLM) son adecuados para estas tareas. Con los LLM, los arquitectos pueden crear soluciones que ayuden a los usuarios a minimizar la carga de tener que leer documentos largos con detalle, lo que se traduce en un aumento de productividad y experiencias de usuario más positivas.
Arquitectura
- Generación aumentada por recuperación
- Conversación con asistencia a agentes
- Búsqueda generativa
- IA agéntica
- Resumen de documentos
- Modernización y generación de código
- Generación de código para Ansible
- Generación de código para Z
- Desarrollo de software aumentado por IA con agentes
El diagrama anterior muestra las dos formas del patrón de sumarización. La forma más simple del patrón es la variante Stuff. En este patrón:
- El contenido de un documento se lee y se "incrusta"; es decir, se copia íntegramente, en una instrucción de LLM.
- Una plantilla de instrucción se utiliza comúnmente para "envolver" el contenido con instrucciones y palabras clave para dirigir al modelo de destino para generar un resumen.
- La instrucción resultante se envía a un LLM entrenado que genera un resumen en respuesta.
El enfoque Stuff es excelente para documentos pequeños, pero no funciona con documentos demasiado grandes para la ventana de contexto de LLM o para colecciones de documentos. Afortunadamente disponemos de la variante Map-Reduce para estas situaciones. En la fase Map de la variante, los documentos individuales y/o subsecciones de documentos se introducen en instrucciones LLM utilizando el método Stuff. La aplicación agrega los resúmenes devueltos para los documentos y/o fragmentos y luego los envía a un LLM (4) para generar un resumen general del trabajo y/o conjunto de documentos más grande. Es posible utilizar el mismo LLM para las fases Map y Reduce, pero con mayor frecuencia será necesario afinar el modelo Reduce para generar resúmenes agregados sin perder detalles clave.
En términos conceptuales, la síntesis es similar a una tarea de traducción automática: queremos que el LLM "traduzca" un documento extenso a un resumen más breve. Por lo tanto, los modelos de codificador-decodificador, como BART y T5, son muy adecuados para las soluciones de resumen. La mayoría de los LLM adecuados para el resumen se entrenan utilizando uno o más conjuntos de entrenamiento disponibles públicamente extraídos de fuentes como noticias, Wikipedia, legislación y publicaciones científicas, pero generalmente requerirán un ajuste antes de que puedan generar resúmenes aceptables para procesos comerciales específicos y datos de entrada.
Un proceso empresarial complejo normalmente requerirá varios modelos ajustados para generar resúmenes para diferentes grupos de usuarios. Por ejemplo, un proceso de reclamación de seguro potencialmente requeriría LLM optimizados para el resumen y enrutamiento de reclamos, detección del fraude y la investigación, y para resumir los informes de los proveedores de servicios, como consultores médicos o de ingeniería.
El resumen es un modelo de solución adecuado para cualquier situación empresarial en la que los usuarios deban leer y comprender habitualmente documentos extensos, pero no necesiten tener un conocimiento profundo del contenido hasta una fase posterior del proceso empresarial.
Los usos candidatos incluyen:
Adjudicación de reclamaciones de seguros. Las reclamaciones de seguros, en particular las complejas de seguros comerciales y de salud colectivos, suelen leerse varias veces durante el proceso de presentación y tramitación. A menudo, las reclamaciones se leen inicialmente para determinar el departamento o el ajustador adecuados para tramitar la reclamación. Se requiere lectura adicional para comprender y actuar sobre los informes de evaluación independientes, determinar la cobertura y evaluar posibles fraudes. Una solución de resumen que extraiga los puntos pertinentes de un texto tiene el potencial de mejorar sustancialmente estos procesos.
Contratos. Los contratos comerciales suelen ser complejos y difíciles de entender, incluso para una transacción relativamente sencilla. Una solución de resumen capaz de sintetizar los términos y condiciones clave de un contrato en un lenguaje sencillo sería de gran ayuda para empresarios, abogados y asistentes jurídicos de diversos sectores.
Resúmenes médicos. La compilación de resúmenes médicos a partir de los historiales de los pacientes es una tarea ardua que requiere una amplia experiencia para funcionar correctamente. Una solución de resumen que sea capaz de extraer los elementos clave de un historial clínico extenso y facilitar la codificación de los registros (utilizando la CIE-10 u otro sistema de codificación diagnóstica) mejoraría la rapidez y la coherencia del proceso de resumen.
Soporte de productos y servicios. A menudo se pide al personal de atención al cliente que retome o participe en los esfuerzos de resolución de problemas que pueden abarcar muchas interacciones entre los clientes y el equipo de soporte. Una solución de resumen que resuma con precisión un caso de soporte puede reducir el tiempo necesario para que el personal de soporte se ponga al día con un caso e, idealmente, reducir el tiempo necesario para resolver los casos.
Las soluciones de resumen requieren que los arquitectos tomen una serie de decisiones significativas para alcanzar los requisitos funcionales y no funcionales de la solución.
Elección del modelo de generación
Como se ha documentado anteriormente, muchos LLM son capaces de realizar resúmenes de texto "out of the box". Si las capacidades inherentes al modelo cumplen los requisitos de la solución, los arquitectos deben tener en cuenta factores como el tamaño del modelo (que impulsa los requisitos de infraestructura), la calidad de las respuestas y la velocidad de inferencia. Si se requiere ajuste fino, los arquitectos también deben considerar la cantidad de datos de ajuste y la complejidad del proceso de ajuste necesario para ajustar un modelo base seleccionado a sus necesidades específicas
Métricas de evaluación
Evaluar el rendimiento de las soluciones de IA generativa puede resultar complicado debido al carácter cualitativo de su tarea, es decir, determinar en qué sentido un resumen generado es "mejor" que otro. Las métricas comunes incluyen perplejidad, fluidez, relevancia y coherencia, así como las métricas BLU y ROUGE. Un arquitecto debe seleccionar métricas que se alineen con los requisitos funcionales de la solución y los objetivos empresariales generales.