IBM watsonx.data mais Unstructured: transformando dados não estruturados em combustível pronto para a IA

Ilustração digital com fundo de preto a roxo desbotado com dashboard no lado direito com janelas, um calendário e ícones

Autora

Edward Calvesbert

Vice President, Product Management - watsonx.data

IBM

Brian Raymond

Founder and CEO of Unstructured

Temos o prazer de anunciar uma nova parceria entre a IBM e a Unstructured, uma empresa do portfólio da IBM Ventures. Juntas, estamos lidando com uma das barreiras mais significativas para escalar a IA empresarial: a preparação de dados não estruturados para a IA generativa.

O desafio dos dados não estruturados

Aproximadamente 80% dos dados empresariais são não estruturados e estão localizados em PDFs, e-mails, plataformas de colaboração e repositórios de documentos. No entanto, menos de 1% desses dados estão em um formato adequado diretamente para consumo de IA. Essa lacuna representa uma enorme oportunidade e um desafio crítico para as organizações​​​​ que escalam as iniciativas de IA.​​​​​​

​​​​As abordagens tradicionais para a preparação de dados não estruturados estão atrasando as empresas. Os pipelines manuais exigem de seis a 12 meses para serem construídos e permanecem frágeis, tendo problemas com cada novo formato de documento ou alteração do sistema de origem. As equipes de engenharia gastam um tempo valioso na canalização de dados, em vez de na inovação da IA. Sem a estrutura e a consistência adequadas, os modelos de IA apresentam resultados não confiáveis, prejudicando a confiança e atrasando o time to value.​​​

​​​​O IBM watsonx.data lida com esse desafio como o único data lakehouse híbrido e aberto do setor, criado para IA e análise de dados. Ele simplifica o acesso, a preparação e a governança em dados estruturados e não estruturados, ajudando as organizações a estabelecer uma base de dados confiável para a IA generativa em escala.​​​​​

A vantagem da Unstructured do watsonx.data

Por meio dessa parceria, a Unstructured estende o poder do watsonx.data para acessar e transformar dados não estruturados em formatos prontos para a IA, para alimentar uma IA generativa segura, escalável e confiável.

Conectividade abrangente e compatibilidade com formatos​​​

A Unstructured fornece mais de 30 conectores criados previamente para fontes de dados empresariais, incluindo SharePoint, Google Drive, Salesforce, Confluence, Box e Dropbox. Com compatibilidade com mais de 70 tipos de arquivos (de PDFs com layouts complexos a imagens digitalizadas, e-mails e documentos do Microsoft Office), as organizações podem acessar e transformar todo o seu patrimônio de dados.​​​

​​​​Ao contrário das ferramentas básicas de extração de texto, a compreensão inteligente de documentos da Unstructured preserva elementos críticos, como tabelas, hierarquias e estrutura semântica, garantindo que os modelos de IA recebam dados contextualmente ricos, em vez de apenas texto bruto.​​​​​

Desenvolvimento acelerado de pipelines​​​

Um construtor de fluxos de trabalho visuais no-code capacita as equipes de negócios e de dados a projetar e gerenciar pipelines de dados sem a necessidade de recursos de engenharia especializados. Para organizações com equipes de desenvolvimento, uma API abrangente oferece controle programático e opções de personalização.​​​

​​​​Os processos de sincronização incremental automática realizam ingestão somente de documentos novos e alterados, reduzindo os custos de computação e mantendo as aplicações de IA atualizadas. A orquestração multifontes coordena os fluxos de dados em vários sistemas simultaneamente, eliminando a sobrecarga da coordenação manual.​​​

Governança e conformidade de nível empresarial

A Unstructured está em conformidade com a SOC 2 Tipo II, HIPAA e GDPR, atendendo aos rigorosos padrões de segurança e privacidade exigidos pelas organizações de TI empresariais. Junto com o watsonx.data, a solução oferece controle de versão, linhagem de dados e controle de acesso detalhado que honram as permissões do sistema de origem em todo o pipeline de dados.​​​

Otimizado para fluxos de trabalho de IA​​​

A Unstructured fornece dados semanticamente enriquecidos e devidamente fragmentados, otimizados para arquiteturas modernas de IA:​​​

  • Geração aumentada de recuperação (RAG):​​ a fragmentação contextualmente inteligente melhora a precisão da recuperação e a qualidade da resposta​​​
  • Integração de bancos de dados de vetores:​​ a geração automática de embeddings simplifica a ingestão em armazenamento de vetores​​​
  • Sistemas agênticos:​​ oferecem um contexto estruturado e praticável, que permite aos agentes autônomos raciocinar, planejar e interagir com os dados de forma mais eficaz​​​​​
  • IA multimodal:​​ processamento coordenado de conteúdo de texto e imagem​​​

Com o watsonx.data e a Unstructured, as equipes podem migrar rapidamente com pipelines prontos para produção, ​​combinando​​​​ velocidade, flexibilidade e prontidão para IA, tudo em uma única solução integrada.

Melhores juntos: alimentando o mecanismo do watsonx

Se o watsonx.data é o mecanismo de dados que impulsiona aplicações de IA generativa, a Unstructured fornece o combustível. Juntos, o watsonx.data e a Unstructured fornecem dados não estruturados prontos para IA e permitem padrões avançados de geração aumentada de recuperação, que melhoram a precisão e a confiabilidade da IA. 

As empresas podem acelerar o time to value ao substituir a preparação manual de documentos por processamento automatizado inteligente. As políticas de governança fluem desde os sistemas de origem dos documentos até as aplicações de IA, melhorando a confiança e a transparência em todas as etapas. Ao eliminar o gargalo da preparação de dados não estruturados e fornecer uma base de dados com acesso, preparação e governança de dados unificados, as organizações podem finalmente liberar todo o potencial de seu conteúdo não estruturado para impulsionar uma IA confiável de nível empresarial.

Para ver o watsonx.data e a Unstructured em ação, participe de nosso próximo webinar conjunto ou agende uma reunião. Juntos, ajudaremos você a ir de​ passar tempo preparando dados bagunçados e​ não estruturados​​ ​​para acelerar agentes de IA e aplicações de nível empresarial, com dados prontos para IA, em escala.​​​

Participe do próximo webinar

Agende uma reunião