데이터를 인사이트로 변환

데이터는 기업에 전략적 이점의 원천이 될 수 있지만, 이는 데이터의 잠재력을 최대한 발휘할 수 있는 경우에만 가능합니다. 역설은 간단합니다. 데이터가 많을수록 복잡도가 높아져서 가시성이 떨어지고, 대규모로 가치를 제공하기가 어려워진다는 것입니다.

IBM Chief Data Office(CDO)의 경우 데이터에서 가치를 추출하는 것이 중요합니다. 데이터는 보다 생산적인 기업이 되기 위한 IBM의 목표에 원동력이 됩니다. 이 전략의 핵심은 다양한 소스에서 가져온 데이터를 통합하여 의미있는 인사이트를 제공하는 파이프라인을 만드는 것입니다. 데이터 파이프라인은 다양한 소스에서 데이터를 추출, 변환, 로드하여 데이터 웨어하우스 또는 데이터 레이크로 로드하는 일련의 작업입니다. 이 작업을 거치면 일관성을 유지하고 대규모의 분석을 할 수 있습니다.

CDO 팀은 약 4,000개에 달하는 데이터 파이프라인을 관리해야 하는 상황에서 기존의 방식은 번거롭고 시간이 많이 걸린다고 판단했습니다. 데이터 파이프라인을 수동으로 모니터링하고 문제를 해결하다 보니 상당한 시간이 소요되고 인적 오류가 발생하기 쉬웠습니다. "대량의 파이프라인에서 파이프라인 상태를 관리하는 것은 특히 각 팀이 서로 다른 제품을 사용할 때 중요한 과제였습니다." CDO의 선임 엔지니어링 매니저인 Ashley Delport는 설명합니다. "데이터 상태를 지속적으로 모니터링하고, 누락된 데이터와 같은 문제를 사전에 파악하여 해결하고, 서비스가 영향을 받을 경우 우리 팀에 알려줄 수 있는 솔루션이 필요했습니다."

이들 팀은 비즈니스 인사이트와 AI 사용 사례를 위한 데이터 파이프라인을 계속 확장하는 과정에서 더 효율적인 방식을 찾아야 했습니다. 실시간 가시성, 모니터링 자동화, 더 뛰어난 협업 기능을 제공하는 혁신적인 솔루션을 원했습니다. 무엇보다도 CDO 팀이 매일 적시에 정확한 고품질 데이터를 제공하리라 믿는 사용자 수천 명의 신뢰에 부응해야 했습니다.

CDO 팀은 지속적인 데이터 관측성을 제공하는 통합 제어 평면 IBM® watsonx.data integration을 선택하고 IBM의 인수합병 활동 데이터를 중심에 둔 파일럿으로 출발했습니다. 파이프 라인 성능에 대한 실시간 가시성을 확보하는 것이 목표였습니다.

 "실시간 모니터링과 알림 기능 덕분에 시간과 노력을 절약할 수 있었습니다. 특히 파일럿 기간에 수동 모니터링과 문제 해결이 약 85% 감소한 것으로 나타났습니다." 선임 기술 직원 Sheeba Prakash는 말했습니다.

솔루션의 직관적인 인터페이스 덕분에 이들 팀은 파이프라인 상태를 쉽게 추적하고 병목 현상을 파악하며 문제를 신속하게 해결할 수 있었습니다. 자동화된 워크플로와 맞춤 설정 가능한 대시보드를 사용하니 파이프라인 관리가 눈에 띄게 간소해졌습니다. 그래서 엔지니어들은 인수 시나리오에서 데이터 통합을 가속화하는 데 집중할 수 있었습니다.

성공적인 파일럿 이후 CDO 팀은 데이터 관측성 기능 채택을 확장해, 회사의 데이터 파이프라인 실행 전반에 대한 인사이트를 얻는 신뢰할 수 있는 단일 소스로 활용하기로 했습니다. "데이터 관측성 덕분에 운영 효율성이 높아졌습니다. 덕분에 데이터 파이프라인 문제에 사후 대응하지 않고, 선제적으로 대처할 수 있게 되었습니다." Delport는 덧붙입니다.