ingestão, transformação e pré-processamento de dados não estruturados em escala com o watsonx.data integration
Criado para escalar com segurança e conformidade integradas.
Trabalha com a integração de dados estruturados em lote, transmissão, replicação e observabilidade, para você eliminar o uso fragmentado de várias ferramentas.
Projetado para todos os níveis de habilidade, desde pouco código ou nenhum código a um SDK abrangente.
Crie um pipeline de integração de dados não estruturados em menos de dois minutos
Assim como a tradicional extração, transformação e carregamento (ETL) para integração de dados estruturados, essa nova tecnologia aplica o processo aos dados não estruturados.
Independentemente do nível de habilidade, os usuários podem aproveitar uma IU intuitiva e conectores criados previamente para ingestão de tipos de arquivos não estruturados de uso comum e de fontes variadas. Para usuários mais técnicos, a plataforma pode ser totalmente ampliada por meio de um SDK abrangente.
Na etapa de transformação, o recurso disponibiliza operadores de qualidade criados previamente que realizam tarefas como extração de texto e eliminação de dados duplicados. Podem também remover conteúdo sigiloso, como informações de identificação pessoal (PII) além de conteúdos de ódio, abusivos e obscenos (HAP). Essas transformações são alimentadas por um mecanismo escalável que pode processar centenas de milhões de páginas, acelerando exponencialmente o processamento de dados não estruturados. A integração de dados não estruturados integra-se também ao framework de código aberto, como o LangChain, para ampliar ainda mais a funcionalidade da transformação.
Para a etapa de carregamento, a funcionalidade oferece operadores de chunking e embedding para simplificar a geração de embedding e preencher bancos de dados de vetores, como o Milvus, deixando os dados não estruturados facilmente acessíveis para casos de uso de IA.
Após a criação dos pipelines, eles permanecerão ativos com atualizações automáticas do embedding quando os documentos de origem forem alterados, resolvendo problemas comuns com dados vetorizados desatualizados. Para manter a segurança, as listas de controle de acesso (ACLs) incorporadas permitem que as organizações gerenciem quem pode ver e tomar medidas em relação a conjuntos de dados específicos.
Independentemente do nível de habilidade, os usuários podem aproveitar uma IU intuitiva e conectores criados previamente para ingestão de tipos de arquivos não estruturados de uso comum e de fontes variadas. Para usuários mais técnicos, a plataforma pode ser totalmente ampliada por meio de um SDK abrangente.
Na etapa de transformação, o recurso disponibiliza operadores de qualidade criados previamente que realizam tarefas como extração de texto e eliminação de dados duplicados. Podem também remover conteúdo sigiloso, como informações de identificação pessoal (PII) além de conteúdos de ódio, abusivos e obscenos (HAP). Essas transformações são alimentadas por um mecanismo escalável que pode processar centenas de milhões de páginas, acelerando exponencialmente o processamento de dados não estruturados. A integração de dados não estruturados integra-se também ao framework de código aberto, como o LangChain, para ampliar ainda mais a funcionalidade da transformação.
Para a etapa de carregamento, a funcionalidade oferece operadores de chunking e embedding para simplificar a geração de embedding e preencher bancos de dados de vetores, como o Milvus, deixando os dados não estruturados facilmente acessíveis para casos de uso de IA.
Após a criação dos pipelines, eles permanecerão ativos com atualizações automáticas do embedding quando os documentos de origem forem alterados, resolvendo problemas comuns com dados vetorizados desatualizados. Para manter a segurança, as listas de controle de acesso (ACLs) incorporadas permitem que as organizações gerenciem quem pode ver e tomar medidas em relação a conjuntos de dados específicos.
O watsonx.data integration unifica dados estruturados e não estruturados em arquiteturas modernas de lakehouse. Com a conexão de bancos de dados, documentos, registros, imagens e e-mails, proporciona insights mais avançados, uma IA mais precisa e uma visão completa dos seus negócios.
O watsonx.data integration transforma conteúdo não estruturado em dados estruturados e práticos para uso de agentes autônomos e sistemas em tempo real, viabilizando casos de uso como o atendimento automático, a detecção de fraude e as cadeias de suprimentos dinâmicas.
O watsonx.data integration prepara o conteúdo não estruturado, tais como documentos, áudio e vídeo, para treinamento da IA, limpando, enriquecendo e estruturando o conteúdo. Dessa forma, garante inputs de alta qualidade para melhor NLP, visão computacional e análise preditiva de dados.
Recursos
Descubra como você pode preparar seu stack de integração de dados para o futuro com watsonx.data integration.
Leia o artigo no blog
Crie pipelines de ETL para dados não estruturados com o IBM® watsonx.data integration.
Leia o artigo no blog
Habilite IA em escala com integração e governança de dados não estruturados.
Leia o artigo no blog
Produtos relacionados
A IBM® watsonx.data integration unifica seus dados, estruturados e não estruturados, por meio de todos os estilos de integração e arquiteturas de armazenamento, ajudando-os a ficarem prontos para a IA.
o watsonx.data intelligence descobre, seleciona e controla ativos de dados, transformando informações brutas em IA precisa e insights significativos em ambientes locais e na nuvem.
O IBM® watsonx.data quebra as limitações tradicionais de lakehouse, sendo pioneiro em novos padrões para integração, enriquecimento e governança de dados que promovem uma IA mais precisa.
Notas de rodapé
¹ White paper da IDC: O valor inexplorado dos dados não estruturados