El resumen es la capacidad de condensar documentos largos en un resumen conciso que captura los puntos clave del trabajo más grande. Desde una perspectiva tecnológica, el resumen es un desafío porque requiere una amplia gama de capacidades: comprensión de largos fragmentos de texto, identificación de puntos y temas clave, y la generación de texto nuevo que capture la intención del trabajo más amplio. Afortunadamente, los modelos de lenguaje grandes (LLM) son adecuados para estas tareas. Con los LLM, los arquitectos pueden crear soluciones que ayuden a los usuarios a minimizar la carga de tener que leer documentos largos en detalle, lo que deriva en ganancias de productividad y experiencias de usuario más positivas.
Arquitectura
- Generación aumentada por recuperación
- Conversación con asistencia de agente
- Búsqueda generativa
- IA agéntica
- Resumen de documentos
- Modernización y generación de código
- Generación de código para Ansible
- Generación de código para Z
- Desarrollo de software aumentado por IA con agentes
El diagrama anterior muestra las dos formas del patrón de elaboración de resúmenes. La forma más simple del patrón es la variante Stuff. En este patrón:
- El contenido de un documento se lee y se "rellena" (stuffed), es decir, se copia en su totalidad, en una instrucción de LLM.
- Una plantilla de instrucciones se utiliza comúnmente para "envolver" el contenido con instrucciones y palabras clave para dirigir el modelo de destino a fin de generar un resumen.
- La instrucción resultante se envía a un LLM capacitado que genera un resumen en respuesta.
El enfoque de Rellenar es excelente para documentos pequeños, pero no funciona con documentos demasiado grandes para la ventana de contexto de LLM o para colecciones de documentos. Afortunadamente, contamos con la variante Map-Reduce para estas situaciones. En la fase de Map de la variante, los documentos individuales o las subsecciones de documentos se introducen en las instrucciones del LLM utilizando el enfoque Stuff. La aplicación agrega los resúmenes devueltos para los documentos o fragmentos y luego los envía a un LLM (4) para generar un resumen general del trabajo o conjunto de documentos más grande. Es posible usar el mismo LLM para las fases de Map y Reduce, pero más a menudo el modelo de Reduce necesitará ajustarse para generar resúmenes agrupados sin perder detalles clave.
Conceptualmente, el resumen es similar a una tarea de traducción automática: queremos que el LLM "traduzca" un documento largo en un resumen más corto. Por lo tanto, los modelos de codificador-decodificador como BART y T5 son adecuados para soluciones de resumen. La mayoría de los LLM adecuados para el resumen se entrenan utilizando uno o más conjuntos de entrenamiento disponibles públicamente extraídos de fuentes como noticias, Wikipedia, legislación y publicaciones científicas, pero por lo general requerirán ajustes antes de que puedan generar resúmenes aceptables para procesos de negocio específicos y datos de entrada.
Un proceso de negocio complejo normalmente requerirá múltiples modelos ajustados para generar resúmenes para diferentes grupos de usuarios. Por ejemplo, un proceso de reclamaciones de seguros potencialmente requeriría LLM ajustados para el resumen y enrutamiento de reclamaciones, la detección e investigación de fraudes, y para el resumen de informes de proveedores de servicios, como consultores médicos o de ingeniería.
El resumen es un patrón de solución candidato para cualquier escenario empresarial en el que los usuarios deban leer y comprender documentos grandes de forma rutinaria, pero no necesariamente requieren un conocimiento profundo del contenido del documento hasta más adelante en el proceso empresarial.
Los usos candidatos incluyen:
Adjudicación de reclamaciones de seguros. Las reclamaciones de seguros, en particular las reclamaciones comerciales y de estado grupales complejas, a menudo se leen varias veces en el proceso de presentación y adjudicación. A menudo, las reclamaciones se leen inicialmente para determinar el departamento o ajustador apropiado para manejar la reclamación. Se requiere lectura adicional para comprender y actuar sobre los informes de evaluación independientes, determinar la cobertura y evaluar posibles fraudes. Una solución de resumen que extrae los puntos relevantes de un texto tiene el potencial de mejorar sustancialmente estos procesos.
Contratos. Los contratos comerciales suelen ser complejos y difíciles de entender, incluso en el caso de transacciones relativamente sencillas. Una solución de resumen que pueda resumir los términos y condiciones clave de un contrato en un lenguaje sencillo podría ser una gran ayuda para los empresarios, abogados y asistentes legales en múltiples industrias.
Resúmenes médicos. La compilación de resúmenes médicos a partir de los historiales de los pacientes es una tarea ardua que requiere una amplia experiencia para funcionar correctamente. Una solución de resumen que pueda extraer los elementos clave de un registro de paciente grande y ayudar con la programación de registros (utilizando ICD-10 u otro esquema de codificación de diagnóstico) mejoraría tanto la velocidad como la sistematicidad del proceso de resumen.
Soporte de productos y servicios. A menudo se pide al personal de atención al cliente que retome o participe en los esfuerzos de resolución de problemas que pueden abarcar muchas interacciones entre los clientes y el equipo de soporte. Una solución de resumen que resuma con precisión un caso de soporte puede reducir el tiempo necesario para que el personal de soporte se ponga al día con un caso e, idealmente, reducir el tiempo necesario para resolverlos.
Las soluciones de resumen requieren que los arquitectos tomen una serie de decisiones importantes para lograr los requisitos funcionales y no funcionales de la solución.
Elección del modelo de generación
Como se ha documentado anteriormente, muchos LLM son capaces de realizar resúmenes de texto "de forma inmediata". Si las capacidades inherentes al modelo cumplen con los requisitos de la solución, los arquitectos deben considerar factores como el tamaño del modelo (que impulsa los requisitos de infraestructura), la calidad de las respuestas y la velocidad de inferencia. Si se requiere un ajuste fino, los arquitectos también deben considerar la cantidad de datos de ajuste y la complejidad del proceso de ajuste requerido para ajustar un modelo base seleccionado a sus necesidades específicas
Métricas de evaluación
Evaluar el rendimiento de las soluciones de IA generativa puede ser un reto debido a la naturaleza cualitativa de su tarea, es decir, cómo uno generó un resumen "mejor" que otro. Las métricas comunes incluyen perplejidad, fluidez, relevancia y coherencia; así como métricas BLU y ROUGE. Un arquitecto debe seleccionar métricas que se alineen con los requisitos funcionales de la solución y los objetivos comerciales generales.