De la proliferación de documentos a la inteligencia confiable: cómo aprovechar la arquitectura híbrida de Migrato para obtener insight de IA que cumple con las normas
Migrato usa capacidades de IA de IBM® y de nube híbrida para ayudar a las organizaciones a clasificar, limpiar y gobernar millones de documentos no estructurados, de modo que sus clientes puedan encontrar la información adecuada más rápido, reducir riesgos de privacidad y evitar migrar contenido que ya no necesitan.
La digitalización de los registros en papel resuelve un gran problema y crea uno nuevo: las organizaciones pueden dejar de gestionar cajas de papel, pero aún necesitan comprender qué hay dentro de años de archivos de Word, PDF, correos electrónicos, escaneos, imágenes y hojas de cálculo dispersos en repositorios.
Migrato B.V., con sede en los Países Bajos, ayuda a las organizaciones a poner orden en los datos no estructurados al analizar, inventariar, limpiar y migrar contenido que no reside en filas ordenadas de bases de datos. La plataforma MICC (Migrato Intelligent Content Classifier) de la empresa analiza todos estos datos y convierte el contenido no estructurado en información clasificada y gobernada que se puede buscar y que los empleados pueden usar.
La situación puede complicarse rápidamente. Un municipio puede tener muchos terabytes de contenido histórico en unidades de red, SharePoint, sistemas de gestión de documentos heredados y aplicaciones empresariales.
En algunos despliegues, es posible que MICC necesite inspeccionar millones de documentos. En entornos municipales, el contenido almacenado suele incluir duplicados exactos, casi duplicados, tipos de archivos obsoletos, currículums conservados más tiempo del permitido e información sensible de los empleados almacenada en el lugar equivocado. En una variedad de casos de uso, el contenido protegido, incluidos los números de cuenta bancaria y demás información de identificación personal (IIP), debe permanecer on premises.
Esta publicación explica cómo Migrato creó MICC como una plataforma híbrida de inteligencia y gobernanza de documentos de IA mediante watsonx.ai, IBM Cloud, bibliotecas de IA y PLN de IBM y colaboración con IBM Build Labs. La plataforma resultante ayuda a los clientes a clasificar grandes volúmenes de contenido a escala, manteniendo la información confidencial bajo el control del cliente.
A primera vista, la migración de documentos suena como un simple trabajo de "mover de A a B". Para las organizaciones reguladas, esta migración es mucho más compleja. Antes de que se pueda mover el contenido, los equipos deben comprender qué se debe mover, qué documentos deben conservarse, qué se debe eliminar y qué debe salir a la superficie para su reutilización.
Este desafío es especialmente importante para los municipios, agencias gubernamentales, aseguradoras, bancos y universidades. Los empleados de estas organizaciones a menudo necesitan responder solicitudes de información pública, encontrar registros para procesos comerciales o demostrar el cumplimiento de las reglas de privacidad y retención.
MICC ayuda a analizar el significado y el contexto de los documentos en lugar de buscar solo palabras clave. La plataforma clasifica los documentos por intención, detecta duplicados exactos y casi duplicados, identifica información confidencial, como nombres, números de cuentas bancarias internacionales (IBAN) y números de servicio al ciudadano (un número identificador personal emitido por el gobierno que se utiliza en los Países Bajos).
El valor se hace evidente en el trabajo diario. Por ejemplo, una solicitud de información pública en virtud de la Ley de Gobierno Abierto de los Países Bajos, conocida como solicitud WOO, puede requerir que los empleados busquen información relevante en muchos repositorios.
Con MICC, los usuarios pueden comenzar a partir de un inventario informado de lo que tiene la organización en lugar de buscar manualmente cada sistema. Para los equipos de registros, la plataforma puede recomendar documentos para retención, caducidad o eliminación mientras mantiene a un revisor humano en control antes de que se elimine algo.
Migrato diseñó MICC para equilibrar dos prioridades: mantener el contenido confidencial del cliente cerca del entorno del cliente mientras utiliza IA escalable donde puede agregar velocidad e inteligencia.
El diagrama de arquitectura muestra un despliegue híbrido que separa contenido controlado por el cliente, ingestión, procesamiento on premises, servicios en la nube seleccionados de IBM y resultados del sistema. El diseño se mueve de izquierda a derecha:
- Los repositorios empresariales alimentan una capa de ingesta
- La capa de ingestión lleva el contenido a la plataforma MICC on premises
- MICC organiza servicios de gobernanza e inteligencia de documentos
- Las cargas de trabajo seleccionadas se conectan de forma segura a IBM Cloud
- La plataforma devuelve documentos clasificados, resúmenes, metadatos, alertas de datos sensibles, reportes duplicados, recomendaciones de retención, colas de revisión humana y resultados de cumplimiento normativo.
La primera capa es donde MICC se conecta a las fuentes de contenido de una organización. Vale la pena destacar la diversidad de fuentes aquí, ya que la gobernanza documental rara vez comienza en un sistema limpio. La mayoría de las organizaciones necesitan comprender el contenido distribuido en archivos compartidos antiguos, sistemas de línea de negocio y herramientas de colaboración antes de poder decidir qué migrar, conservar o eliminar.
La segunda capa es la capa de ingesta, que el diagrama actualizado hace más explícita. MICC puede incorporar contenido a través de API, acceso compartido de red SMB, conexiones directas a bases de datos y Microsoft Graph API.
La capa de ingesta también incluye MICC Import con conectores integrados para importación y transferencia. La transferencia segura utiliza el patrón de acceso a la fuente adecuado: API, SMB o Graph API sobre TLS, según corresponda. Eso mantiene la ingestión ligada a las restricciones del sistema de origen del cliente en lugar de forzar a cada repositorio a un único modelo de conector.
La tercera capa es la plataforma MICC, desplegada on premises para inteligencia y gobernanza de contenido. Dentro de MICC, un orquestador de procesamiento coordina servicios especializados en lugar de tratar el análisis de documentos como una gran tarea. El flujo de trabajo puede comenzar con el reconocimiento óptico de caracteres (OCR) para extraer texto de imágenes o documentos. A continuación, puede llamar al servicio de clasificación para agregar una etiqueta de tipo de documento, como factura, formulario W7 o informe.
Un servicio de detección del RGPD identifica elementos confidenciales, como números de Seguro Social, direcciones de correo electrónico, nombres personales y otros datos regulados. Un servicio de enriquecimiento de metadatos y contenido agrega resúmenes, temas, palabras clave e información de identificación personal (PII) o información de salud protegida (PHI). Luego, un servicio de detección de duplicados identifica duplicados exactos y casi duplicados.
La capa MICC on premises también incluye una base de datos de repositorio de metadatos que utiliza MySQL Community Edition, instalada localmente o en Azure o IBM Cloud, según el modelo de despliegue. El portal web de MICC ofrece a los usuarios un lugar para buscar, revisar clasificaciones, ejecutar informes y administrar flujos de trabajo. El componente de revisión humana y flujo de trabajo permite a los revisores aprobar o rechazar hallazgos y acciones de retención antes de que los documentos se eliminen o avancen en el proceso de gobernanza.
El diagrama muestra conexiones TLS seguras entre MICC y los servicios de IBM Cloud. watsonx.ai se utiliza para la clasificación, específicamente para agregar etiquetas de clasificación de documentos. El OCR de IBM extrae texto de imágenes o imágenes PDF. Los servicios de IA de IBM admiten la detección del RGPD y PII mediante la identificación de datos confidenciales, como información relacionada con el RGPD, PII y PHI. Esa división mantiene el entorno de procesamiento MICC principal on premises, al tiempo que le da a Migrato una forma de utilizar los servicios de IBM para funciones específicas de IA y OCR.
En la parte inferior del diagrama está la base de despliegue. MICC puede ejecutarse en máquinas virtuales, Kubernetes o contenedores, con aplicaciones de soporte creadas como aplicaciones Java en una plataforma local de Windows. La capa de base de datos utiliza MySQL Community Edition, el almacenamiento utiliza almacenamiento basado en disco y la línea de base de hardware enumerada incluye 64 GB de memoria, una SSD de 1 TB y varios núcleos de CPU.
La seguridad, la gobernanza y las operaciones abarcan toda la arquitectura. MICC puede automatizar la clasificación y las recomendaciones a escala, pero no elimina el control del cliente sobre el contenido confidencial o las decisiones finales de gobernanza.
El mayor cambio es de la búsqueda básica a la comprensión de documentos. Un sistema de búsqueda tradicional puede saber si una frase aparece en un archivo. MICC va más allá para determinar qué es el documento, qué información confidencial contiene, si ya existen versiones similares y qué regla de gobernanza debe aplicarse.
Ese cambio cambia el modelo operativo para los equipos de registros. En lugar de revisar y etiquetar manualmente cada documento antes de que pueda organizarse, los equipos pueden utilizar la clasificación asistida por IA para generar comentarios en grandes volúmenes de contenido. Los revisores humanos mantienen el control, validan los resultados y aprueban las decisiones de eliminación. Esa división del trabajo es importante en entornos regulados donde la IA reduce el trabajo repetitivo sin convertirse en la autoridad final para las decisiones críticas que afectan el cumplimiento, la privacidad o la retención de registros.
El valor empresarial proviene de reducir el volumen de contenido que debe migrarse, almacenarse y revisarse manualmente. Por ejemplo, es posible que ya no se necesite hasta el 70 % del contenido almacenado por los gobiernos municipales. Los duplicados exactos pueden representar aproximadamente el 30 % de todos los datos, y otro 10 % se atribuye a casi duplicados, como documentos de Word, PDF y copias firmadas del mismo registro. Evitar la migración de contenido obsoleto o duplicado puede reducir el crecimiento del almacenamiento, la presión relacionada con las licencias en la nube y la limpieza de registros en etapas posteriores.
El papel de IBM fortalece MICC de tres maneras:
- IBM watsonx.ai proporciona a MICC capacidades de IA empresarial para la clasificación y el resumen.
- Las bibliotecas de IA y NLP de IBM proporcionan procesamiento de lenguaje integrable para la detección y el enriquecimiento.
- IBM Cloud ofrece a Migrato una forma escalable de manejar cargas de trabajo seleccionadas sin forzar todo el entorno del cliente a un modelo solo en la nube.
Para las organizaciones con millones de documentos, escalar la gobernanza de documentos aumentando la fuerza laboral no es sostenible. El trabajo es repetitivo, los repositorios suelen estar fragmentados y el riesgo de pasar por alto contenido confidencial aumenta a medida que crecen los volúmenes.
La plataforma MICC de Migrato aborda este desafío al enfocar el trabajo que realiza cada capa en tareas limitadas. El contenido permanece principalmente bajo el control del cliente. MICC gestiona el inventario, la lógica de clasificación, las recomendaciones de retención y el flujo de trabajo del usuario. Las capacidades de IA de IBM admiten la comprensión, el resumen y la clasificación del lenguaje, mientras que IBM Cloud maneja cargas de trabajo de alta velocidad seleccionadas. Los revisores humanos siguen siendo responsables de las decisiones finales, incluso si el contenido debe conservarse, publicarse o eliminarse.
Este enfoque brinda a los usuarios finales una mejor experiencia, un acceso más rápido a la información, menos clasificación manual, controles de privacidad más estrictos y repositorios más limpios. También ofrece a los equipos técnicos un modelo de despliegue repetible que puede apoyar a una amplia gama de organizaciones de clientes con mucho documento, en distintos sectores, sin reconstruir la base para cada cliente.
Al combinar MICC con IBM IA, el procesamiento selectivo de IBM Cloud y la gobernanza revisada por humanos, Migrato ha convertido la migración de documentos en un negocio de inteligencia de documentos Escalable. El resultado es una plataforma sólida que ayuda a los clientes y empleados a encontrar lo que necesitan, eliminar lo que ya no necesitan y gobernar el contenido confidencial sin entregar el control de todo el repositorio a la capa de IA.