Primeros pasos con IBM Data Integration for Unstructured Data

Con IBM Data Integration for Unstructured Data, puede ingestar, limpiar, transformar y enriquecer datos no estructurados para la IA genérica. Utilice la interfaz de usuario intuitiva, de arrastrar y soltar, con módulos predefinidos para tareas como la extracción de datos de texto, el filtrado y la supresión de información de identificación personal (PII) para procesar sus datos. Puede crear canalizaciones de datos visuales repetibles que ayudan a procesar continuamente los nuevos cambios y actualizaciones para garantizar que la aplicación utilice siempre los últimos datos disponibles.

Independientemente del nivel de habilidad o experiencia, los equipos de datos pueden utilizar una interfaz de usuario intuitiva con nodos operadores predefinidos y arrastrar y soltar para ingestar datos no estructurados de una variedad de fuentes de datos de entrada dispares, como documentos locales sin procesar, PDF, S3 buckets, y almacenar el resultado en una base Milvus de datos vectorial.

Utiliza el lienzo gráfico para crear un flujo, es decir, una serie de pasos para procesar sus datos. Desde la paleta de nodos, puede seleccionar y configurar varios nodos operadores y, a continuación, conectarlos en un flujo que procese sus documentos.

Una vez creado un flujo, IBMData Integration for Unstructured Data mantiene el canal en tiempo real. Puede utilizar tiempos de ejecución dedicados y programar tareas para actualizaciones automáticas de incrustación si se modifica un documento de origen. A medida que se actualizan los documentos fuente, solo se volverán a procesar aquellas incrustaciones que hayan cambiado. Esto resuelve los problemas posteriores a la vectorización de datos obsoletos tras su consumo. Reduce la carga manual que supone preparar datos sin estructurar para la IA de nivel empresarial, ya que filtra los datos y determina si estos son relevantes y precisos para su caso de uso.