A chave do baú de tesouro de dados: uma transformação da TI

Imagine um vasto oceano de dados, repleto de insights potenciais, mas não totalmente utilizados devido ao seu estado desordenado. A organização do diretor executivo de TI (CIO) da IBM enfrentou um desafio semelhante. A organização do CIO armazenava grandes volumes de dados operacionais de TI relacionados a aplicações, dispositivos, redes, infraestrutura e ferramentas empresariais. Esses dados estavam espalhados por diferentes fontes de dados, incluindo sete diferentes data lakes construídos com base em diversas tecnologias.

Essa fragmentação levou a vários problemas. Primeiro, a equipe do CIO não conseguia acessar grandes volumes de dados, o que dificultava sua capacidade de extrair insights valiosos e tomar decisões estratégicas. Em segundo lugar, a governança, os controles de acesso e os processos eram incoerentes entre os repositórios, comprometendo a segurança de dados. Por fim, a duplicação desenfreada de dados e ETL (extração, transformação, carregamento) não só prejudicava a qualidade de dados, mas também aumentava os custos operacionais, esgotava os recursos e sufocava a inovação.

A equipe reconheceu a necessidade urgente de uma mudança radical em sua estratégia de gerenciamento de dados. Eles imaginaram uma plataforma de dados centralizada e unificada, projetada para desmantelar os silos de dados existentes, estabelecer uma governança robusta e capacitar os usuários com recursos de autoatendimento. Essa plataforma democratizaria os dados, tornando-os mais acessíveis e fáceis de combinar para análise, aumentando, em última análise, a economia de custos, a eficiência e a competitividade.

Para lidar com os desafios de dados fragmentados e desorganizados, a organização do CIO da IBM passou por uma transformação de TI no terceiro trimestre de 2024, implementando a I&T Data Platform com a tecnologia IBM watsonx.data, junto com o IBM watsonx.ai, o IBM Cognos Analytics e o IBM Knowledge Catalog. Juntas, essas ferramentas ajudaram a criar uma central unificada, substituindo silos desconectados por controle centralizado e acessibilidade simplificada. O IBM watsonx.ai permitiu aprendizado de máquina avançado e insights orientados por IA, o IBM Cognos Analytics favoreceu a geração de relatórios e dashboards dinâmicos, e o IBM Knowledge Catalog garantiu uma governança robusta e a capacidade de descoberta de dados.

Uma constatação fundamental durante essa transição foi como a watsonx.data conseguiu reduzir significativamente a complexidade. Antes, os usuários extraíam dados de forma trabalhosa de ambientes díspares, incluindo fontes como AskIdentity (DB2), Developer Platform (PostgreSQL), Voice of the Employee (PostgreSQL) e Infrastructure Inventory (MongoDB). Agora, com a arquitetura unificada alimentada pelo watsonx.data, uma única consulta extrai dados desses diversos sistemas sem dificuldades, eliminando um esforço manual substancial. A plataforma se adapta a vários bancos de dados e formatos, com a necessidade de revisões apenas ocasionais.

Para melhorar o acesso dos usuários, a equipe implementou camadas de abstração para padronizar a sintaxe SQL e aproveitou o IBM Knowledge Catalog para promover a coerência e a confiança nos dados. Os pipelines de CI/CD e a integração com o GitHub simplificaram ainda mais o desenvolvimento, tornando a plataforma mais colaborativa e escalável. Com isso, a organização do CIO da IBM agora opera um ecossistema de dados centralizado e inteligente que promove a eficiência e a inovação.

A implementação da I&T Data Platform produziu resultados positivos e significativos para a organização do CIO da IBM. Ao transferir dados de sistemas legados e reduzir a redundância de dados, a plataforma permitiu uma economia de custos de USD 5,3 milhões até o primeiro trimestre de 2025. Isso também levou a uma implementação 100% em SaaS do watsonx.data na IBM Cloud, reduzindo a infraestrutura física local e a complexidade.

Além disso, a plataforma melhorou a governança de dados, fornecendo uma fonte única da verdade e permitindo estratégias de dados mais defensivas. A redundância de dados foi reduzida em uma média de 26% para identidade e 7,7% para experiência dos desenvolvedores, pois a plataforma elimina a necessidade de replicar dados em vários sistemas. Essa melhoria também reduziu o tempo e o esforço necessários para executar os processos de ETL.

Conforme a plataforma integrava mais fontes de dados, a equipe observou um aumento significativo nos volumes de dados, exemplificado por um acréscimo de 229 GB ingeridos diariamente de dispositivos e casos de uso da intranet da IBM. Nos quatro dias anteriores, a equipe conseguiu carregar mais de 1,25 bilhão de linhas da intranet da IBM, demonstrando a capacidade da plataforma de ingerir dados de forma eficiente e em larga escala.

Pensando no futuro, a equipe está explorando maneiras de aprimorar ainda mais a I&T Data Platform para reduzir a redundância e melhorar a qualidade dos dados. O objetivo é ter todas as fontes de dados operacionais de TI integradas na plataforma até o final do ano e aproveitar plenamente os benefícios de um ambiente de dados governados.

A organização do Diretor Executivo de TI da IBM lidera a estratégia interna de TI e fornece, protege, moderniza e dá suporte às soluções de TI que funcionários, clientes e parceiros usam para realizar seus trabalhos todos os dias.

A organização do CIO visa criar uma plataforma de TI adaptável que facilite o acesso a ferramentas, aplicações e sistemas em toda a empresa. Com a missão de catalisar o crescimento dos negócios, a organização do CIO acelera a resolução de problemas e atua como um motor de inovação para a IBM.