A IA agêntica tem um problema de dados não estruturados: a IBM está revelando uma solução

No Think desta semana, a IBM está simplificando radicalmente o stack de dados para IA.

A IBM está realizando a pré-visualização pública da principal evolução do watsonx.data, que pode ajudar as organizações a preparar seus dados para a IA e fornecer uma base de dados aberta e híbrida e gerenciamento de dados estruturados e dados não estruturados prontos para a empresa.

O resultado? IA 40% mais precisa do que o RAG convencional, de acordo com testes com o IBM watsonx.data.¹ Os produtos e funcionalidades previstos para lançamento em junho incluem:

• Watsonx.data integration, software para orquestrar acesso a dados e engenharia em diversos estilos e formatos de integração em uma única interface, com flexibilidade e escala em seu núcleo

• Watsonx.data intelligence, software para transformar a forma como as organizações selecionam, gerenciam e utilizam dados significativos, aproveitando o poder da IA para simplificar a gestão de dados

• A inclusão do watsonx como um provedor de APIs dentro do Llama Stack da Meta, aprimorando a capacidade das empresas de implementar IA generativa em escala e com abertura no núcleo

O watsonx.data integration e o watsonx.data intelligence estarão disponíveis como produtos independentes, e recursos selecionados também estarão disponíveis por meio do watsonx.data — maximizando as opções e a modularidade dos clientes.

Para complementar esses produtos, a IBM anunciou recentemente sua intenção de adquirir a DataStax, que se destaca no aproveitamento de dados não estruturados para a IA generativa. Com a DataStax, os clientes podem acessar recursos adicionais de pesquisa vetorial.

Baseado em testes internos comparando a exatidão das respostas das saídas do modelo de IA usando a camada de recuperação do watsonx.data Premium Edition para o RAG somente com vetores em três casos de uso comuns com conjuntos de dados de propriedade da IBM usando o mesmo conjunto de modelos de inferência, julgamento e embedding de código aberto selecionados e variáveis adicionais. Os resultados podem variar.

As empresas enfrentam uma grande barreira para oferecer uma IA generativa de precisão e de alto desempenho, especialmente a IA agêntica. Mas a barreira não é aquilo que a maioria dos líderes empresariais imagina.

O problema não são os custos de inferência ou o modelo "perfeito" ilusório. O problema são os dados.

As organizações precisam de dados confiáveis e específicos da empresa para a IA agêntica criar valor: os dados não estruturados dentro de e-mails, documentos, apresentações e vídeos. Estima-se que, em 2022, 90% dos dados gerados pelas empresas não fossem estruturados, mas a IBM projeta que apenas 1% é contabilizado nos LLMs.

Dados não estruturados podem ser imensamente difíceis de aproveitar. São altamente distribuídos e dinâmicos, confinados em diversos formatos, carecem de rótulos nítidos e, muitas vezes, requerem contexto adicional para serem interpretados de forma completa. A Geração Aumentada de Recuperação (RAG) convencional é ineficaz na extração de seu valor e não pode combinar adequadamente dados não estruturados e estruturados.

Ao mesmo tempo, uma série de ferramentas desconectadas pode tornar o stack de dados para IA complexo e complicado. As empresas fazem malabarismos com data warehouses, data lakes e ferramentas de gestão de dados e integração. A stack de dados pode parecer tão desorientadora quanto os dados não estruturados que ela deveria gerenciar.

Muitas organizações não estão lidando com o problema raiz. Elas se concentram somente na camada de aplicações da IA generativa, em vez de na camada de dados essenciais abaixo. Até que as organizações corrijam sua base de dados, os agentes de IA e outras iniciativas de IA generativa não conseguirão entregar todo o seu potencial.

Os novos recursos da IBM permitirão que as organizações ingiram, governem e recuperem dados não estruturados (e estruturados) e, a partir daí, dimensionem uma IA generativa precisa e de alto desempenho.

Inscreva-se para receber atualizações