O resultado? O Cloud Pak for Data da IBM e sua solução Watson Knowledge Catalog provaram ser os mais escaláveis. "Em particular, a maioria das soluções que analisamos teve problemas como se limitar a lidar apenas com metadados ou tivemos que comprar produtos adicionais para linhagem de dados ou processamento necessário de dados e não puderam ser usados imediatamente. Apenas o Cloud Pak for Data da IBM não tem problemas como esses", disse Sanghee Han, líder de projeto da Samsung-Electro Mechanics.
Uma vantagem adicional foi a capacidade de executar e dimensionar SPSS® e visualizar dados em painéis por meio de notebooks Jupyter com o Cloud Pak for Data da IBM. A equipe da Samsung Electro-Mechanics também construiu um portal no front-end da solução para criar, adicionar, complementar e controlar as funções necessárias, como construir árvores usando dados, desenhar mapas de dados e incluir recursos de segurança adicionais. O fato de poder ser personalizado de acordo com as necessidades da empresa e ser fácil de usar em conjunto com seus próprios sistemas, foi uma grande vantagem.
A conexão com Impala, SAP Hana, Oracle, MS SQL e outros servidores de banco de dados foi bem-sucedida, apesar dos desafios técnicos iniciais na importação de ativos ou no uso de funções. O envolvimento ativo da IBM Coreia no fornecimento de suporte técnico proativo permitiu que a equipe da Samsung Electro-Mechanics resolvesse os problemas técnicos. O trabalho de desenvolvimento começou em outubro de 2021, com a primeira fase aberta para testes em dezembro. O projeto real levou cerca de 6 meses para ser concluído, com o lançamento oficial em 22 de abril de 2022.
Hoje, a plataforma baseada no IBM Cloud Pak for Data organiza dados gerados de diversas fontes em ativos sistemáticos que podem ser facilmente compartilhados, pesquisados e utilizados por meio de APIs em toda a organização. As informações pessoais e confidenciais são gerenciadas de acordo com os rígidos princípios de governança da Samsung Electro-Mechanics, e os ativos de dados são continuamente atualizados com dados recém-gerados. O número destes ativos de dados cresceu de 500 para mais de 2.500 e continua a crescer.
A melhor parte de construir uma plataforma de dados com o Cloud Pak for Data da IBM é fornecer aos usuários funções de autoatendimento. Os usuários podem encontrar rapidamente os dados de que precisam, processá-los da forma que desejam e utilizá-los imediatamente, em vez de precisar pedir aos desenvolvedores que extraiam dados que levariam dias. Isso permitiu que os usuários concluíssem tarefas que normalmente levavam de 30 a 10 dias ou menos.
"Algum colega disse que o que costumava levar uma semana agora pode ser feito em um dia. Embora o tempo necessário dependa do tipo de dados, a produtividade geral dos funcionários melhorou e eles podem obter insights úteis a partir dela. Em casos de dados específicos solicitados pelos clientes, nossa equipe pode encontrar, analisar e entregar os dados de forma rápida e eficiente, o que tem contribuído para a satisfação não apenas de nossos funcionários, mas também de nossos clientes.
"Além disso, a quantidade de dados que pode ser utilizada no data lake do sistema de matérias-primas, que representa a maior parte do corpus de dados da Samsung Electro-Mechanics, aumentou significativamente. Agora é possível pesquisar e utilizar não apenas dados e arquivos estruturados, mas também imagens e dados não estruturados por meio do portal conectado, que é outro resultado significativo deste projeto", disse Sanghee Han, líder de projeto da Samsung-Electro Mechanics.
A Samsung Electro-Mechanics planeja continuar expandindo a plataforma de dados com base no resultado bem-sucedido do projeto. O número de sistemas de dados conectados à solução cresceu de cinco ou seis desde o início para mais de 20 atualmente. Embora atualmente eles o estejam usando principalmente no lado do DataOps em cooperação com cientistas de dados, há planos de usá-lo no lado do MLOPs.
"Foi mais difícil do que eu pensava criá-lo do zero e configurar o processo porque esse tipo de processo de inovação não é algo que fazemos todos os dias. Mas me sinto muito recompensado porque os usuários estão muito satisfeitos e usando-o melhor do que eu esperava", concluiu Sanghee Han, líder de projeto da Samsung-Electro Mechanics.