데이터 민주화: 데이터 아키텍처가 비즈니스 의사 결정과 AI 이니셔티브를 주도하는 방법

데이터 민주화는 5년 전 '디지털 혁신'이라는 용어와 마찬가지로 IT 부서부터 최고 경영진에 이르기까지 조직 전반에서 인기 있는 유행어가 되었습니다. 단순히 데이터 접근을 늘리는 방법으로 설명되는 경우가 많지만 전환은 그 이상입니다. 데이터 민주주의가 효과적으로 구현되면 데이터 스택이 단순화되고 데이터 게이트키퍼가 제거되며 사용자 친화적인 대시보드를 통해 다양한 팀이 회사의 포괄적인 데이터 플랫폼에 쉽게 액세스할 수 있습니다.

기술적 측면 외에도 목표는 훨씬 더 높습니다. 데이터 민주화가 잘 수행되면 데이터 과학자를 제외한 모든 직원이 데이터로 작업할 수 있는 도구를 제공할 수 있습니다. 이는 직원의 호기심을 자극하고 혁신을 촉진할 수 있습니다. 직원들이 올바른 데이터를 손에 넣으면 문제 해결에 필요한 정보를 얻을 수 있을 뿐만 아니라, 진정한 데이터 해독 능력을 갖춘 조직을 통해 "데이터로 또 무엇을 할 수 있을까?"라는 질문을 던질 수 있게 됩니다.

이 글에서는 데이터 민주화의 이점과 기업이 데이터에 대한 새로운 접근 방식으로 전환하는 데 따르는 어려움을 극복할 수 있는 방법을 살펴봅니다.

데이터 민주화는 기술적 배경에 관계없이 조직의 모든 사람이 필요한 데이터에 쉽게 액세스하고, 사용하고, 대화할 수 있는 시스템을 만들고 도구를 채택함으로써 기업이 데이터 기반 의사 결정을 내리는 데 도움이 됩니다. 동의를 받아 제공된 데이터를 직원 고객과 잠재 고객의 아웃풋으로 보는 대신, 이는 이제 회사의 의사 결정으로 향하는 관문입니다.

진정한 데이터 민주화를 위해서는 직원과 소비자 모두 데이터를 사용하기 쉬운 형식으로 보유하여 데이터를 극대화해야 합니다. 또한 조직 전체에 데이터 리터러시가 필요합니다. 직원과 리더는 데이터가 정확하다고 믿고, 데이터에 액세스하는 방법과 비즈니스 문제에 적용할 수 있는 방법을 알아야 합니다. 또한 데이터의 정확성을 검증하고, 보안을 보장하며, 데이터 사용 시기와 방법에 대한 지침을 제공하거나 따를 수 있는 데이터 리터러시 기술도 갖추고 있어야 합니다.

데이터 민주화는 종종 데이터 투명성과 혼동되는데, 이는 데이터 정확성을 보장하고 데이터를 생성한 애플리케이션에 관계없이 데이터에 쉽게 액세스할 수 있도록 도와주는 프로세스를 의미합니다. 대신 데이터 민주화는 스토리지 아키텍처부터 데이터 관리, 데이터 보안에 이르기까지 데이터와 관련된 모든 프로세스를 간소화하는 것을 의미합니다. 또한 새로운 유형의 직원 교육 채택부터 데이터 스토리지에 대한 새로운 정책 수립에 이르기까지 조직 전반의 데이터 거버넌스 접근 방식이 필요합니다.

데이터 민주화를 위해서는 정적 데이터를 저장하기 위한 기존의 '미사용 데이터' 아키텍처에서 벗어나야 합니다. 전통적으로 데이터는 고객과 상호 작용하거나 프로그램을 실행하는 동안에만 호출되는 예비 정보로 간주되었습니다. 오늘날 기업에서 데이터를 사용하는 방식은 훨씬 더 유동적이며, 데이터에 능통한 직원들은 수백 개의 앱에서 데이터를 사용하고, 더 나은 의사 결정을 위해 데이터를 분석하고, 다양한 위치에서 데이터에 액세스합니다.

데이터 민주화는 오늘날의 기업이 운영하는 방식에 맞게 설계된, 용도에 맞는 데이터 아키텍처를 실시간으로 사용합니다. 클라우드와 온프레미스 모두에 분산되어 클라우드, 앱, 네트워크는 물론 미사용 데이터 저장도 광범위하게 사용하고 이동할 수 있습니다. 데이터 민주화를 위해 설계된 아키텍처는 유연하고 통합적이며 민첩하고 안전하여 데이터 및 인공 지능(AI)을 대규모로 사용할 수 있도록 하는 것을 목표로 합니다. 다음은 데이터 민주화에 적합한 아키텍처 유형의 몇 가지 예입니다.

데이터 패브릭

데이터 패브릭 아키텍처는 조직에서 간소화된 데이터 접근과 셀프서비스 데이터 소비를 위해 사용자가 정보와 상호 작용하는 애플리케이션과 데이터 플랫폼을 연결하도록 설계되었습니다. 데이터 패브릭은 데이터 서비스와 API를 활용하여 레거시 시스템, 데이터 레이크, 데이터 웨어하우스 및 SQL Database의 데이터를 통합하여 비즈니스 성능에 대한 전체적인 관점을 제공할 수도 있습니다.

데이터 패브릭 내의 데이터는 메타데이터를 사용하여 정의되며 비즈니스 분석, 머신 러닝 및 애플리케이션을 위한 정형, 반정형 및 비정형 데이터의 대규모 저장소를 보관하는 저비용 스토리지 환경인 데이터 레이크에 저장될 수 있습니다.

데이터 메시

데이터 민주화에 대한 또 다른 접근 방식은 특정 비즈니스 도메인별로 데이터를 구성하는 분산형 아키텍처인 데이터 메시를 사용합니다. 지식 그래프, 의미 체계 및 AI/ML 기술을 사용하여 다양한 유형의 메타데이터에서 패턴을 발견합니다. 그런 다음 이러한 인사이트를 적용하여 데이터 수명 주기를 자동화하고 오케스트레이션합니다. 데이터 메시는 데이터 레이크 내에서 추출, 변환 및 로드(ETL) 작업을 처리하는 대신 데이터를 여러 리포지토리의 제품으로 정의하며, 각 리포지토리에는 데이터 파이프라인을 관리하기 위한 자체 도메인이 부여됩니다.

경량 서비스가 함께 결합되는 마이크로서비스 아키텍처와 마찬가지로 데이터 메시는 기능 도메인을 사용하여 데이터 주위에 매개 변수를 설정합니다. 이를 통해 조직 전체의 사용자는 데이터를 광범위한 액세스 권한이 있는 제품처럼 취급할 수 있습니다. 예를 들어, 마케팅, 영업 및 고객 서비스 팀은 자체 도메인을 보유하여 주어진 데이터 세트의 생산자에게 더 많은 소유권을 제공하는 동시에 여러 팀 간에 공유할 수 있습니다.

데이터 패브릭과 데이터 메시 아키텍처는 상호 배타적이지 않으며, 서로를 보완하는 데 사용될 수도 있습니다. 예를 들어, 데이터 패브릭은 데이터 제품을 더 빠르게 생성하고, 글로벌 거버넌스를 적용하고, 여러 데이터 제품의 조합을 더 쉽게 오케스트레이션할 수 있기 때문에 데이터 메시를 더 강력하게 만들 수 있습니다.

자세히 보기: 데이터 패브릭과 데이터 메시 비교: 어느 쪽이 더 적합할까요?

더 많은 조직이 데이터 민주화 문화로 진화하고 데이터 리터러시 문화를 지원하는 아키텍처를 구축하려고 노력함에 따라 여러 가지 이점을 실현하고 그 과정에서 몇 가지 도전에 직면하게 될 것입니다. 다음은 이러한 조직 변화 중에 고려해야 할 몇 가지 이점과 잠재적 위험입니다.

생산성

많은 기업이 사일로를 제거하고 부서 전반에 걸쳐 데이터를 최대한 활용하기 위해 데이터 민주화를 기대하고 있습니다. 필요한 데이터 통합은 데이터 병목 현상을 줄여 비즈니스 사용자가 더 빠르게 비즈니스 의사 결정을 내릴 수 있도록 하고 기술 사용자가 자신의 스킬 세트를 더 잘 활용할 수 있는 작업의 우선순위를 정할 수 있도록 합니다. 그 결과 효율성과 생산성이 향상됩니다.

보안

데이터 보안은 최우선 과제입니다. 데이터 민주화는 본질적으로 데이터 거버넌스 및 데이터 무결성에 대한 신중하고 지속적인 관심을 요구함으로써 기업이 데이터 보안 프로세스를 개선하는 데 도움이 됩니다. 감독에 신중을 기하고 올바른 데이터를 올바른 담당자에게 제공함으로써 보다 포괄적인 데이터 보안 전략을 수립할 수 있습니다.

데이터 늪의 위험

데이터 늪은 통찰력 있는 학습을 제공하기 위한 적절한 데이터 품질 및 데이터 거버넌스 관행이 부족하여 데이터를 쓸모 없게 만드는 제대로 관리되지 않은 데이터 레이크의 결과입니다. 데이터 민주화는 포괄적인 감독과 데이터 거버넌스를 통해 이 문제를 해결하는 것을 목표로 하고 있으며, 너무 많은 기업이 데이터 품질 저하로 어려움을 겪고 있습니다. 데이터를 제품으로 인식함으로써 데이터를 적절하게 관리하려는 더 큰 인센티브를 창출합니다.

민첩한 데이터 사용

데이터 민주화는 데이터 중력 문제, 즉 데이터의 크기가 커질수록 이동이 어려워진다는 생각에 대응합니다. 대규모 고객 데이터 저장소와 같은 것들은 보다 전략적으로 접근하여 회사가 확장됨에 따라 액세스를 유지할 수 있도록 합니다.

사용자 친화적인 도구

데이터 민주화는 부분적으로 데이터에 액세스하는 도구를 더 쉽게 사용할 수 있도록 함으로써 기술적인 지식이 없는 사용자가 데이터에 더 쉽게 액세스할 수 있도록 하는 것을 목표로 합니다. 여기에는 고급 기술이나 데이터 분석에 대한 깊은 이해가 필요하지 않은 도구가 포함됩니다.

비즈니스 운영의 모든 주요 변화와 마찬가지로, 회사는 데이터 민주화 목표를 달성하기 위해 포괄적인 데이터 전략을 개발해야 합니다. 주요 단계는 다음과 같습니다.

• 비즈니스 및 데이터 목표 정의– 회사의 목표는 무엇인가요? 데이터 및 AI 목표는 무엇인가요? 데이터 민주화를 위해서는 데이터와 비즈니스 목표의 연계가 필수적입니다. 이해관계자의 전문 지식을 활용하면 목표가 포괄적이고 현실적인지 확인할 수 있습니다.
• 데이터 감사 수행– 오늘날 데이터는 어떻게 관리되고 있나요? 무엇이 효과가 있고 무엇이 효과가 없는지 조사하고 병목 현상과 더 나은 도구와 향상된 액세스가 필요한 영역을 식별합니다. 데이터 관리의 현재 상태를 이해하면 조직이 어떤 변화를 해야 하는지 이해하는 데 도움이 됩니다.
• 데이터 프레임워크 매핑– 완전한 데이터 민주화를 달성하면 어떤 모습일까요? 애플리케이션 현대화, 데이터 분석, 자동화 및 AI가 목표를 달성하는 데 도움이 될 수 있는 부분을 정의하고 해당 목표를 향한 경로를 설계하세요.
• 제어 설정– 조직 전체의 규정 준수를 돕기 위해 데이터 동맹에 의존하는 곳입니다. 데이터 표준과 프로세스는 어떻게 전달되고 시행되나요? 이 단계를 사용하여 데이터 거버넌스 정책을 만들고 구현합니다.
• 데이터 통합– 조직에서 부서 간 가시성이 부족하여 어려움을 겪는 경우가 많습니다. 데이터 민주화를 구현한다는 것은 이러한 사일로를 허물고 채택을 장려하는 방식으로 프로세스를 효과적으로 통합하는 방법을 설계하는 것을 의미합니다.
• 직원 학습 및 역량 강화– 데이터 민주화를 성공적으로 구현하려면 직원이 데이터에 효과적으로 접근하고 사용할 수 있는 적절한 수준의 데이터 리터러시를 갖춰야 합니다. 데이터 리더가 채택을 촉진하고 데이터 리터러시를 새로운 채용 프로세스의 일부로 만들어야 합니다. 데이터 민주화를 통해 업무 성과를 개선하고 고객 경험을 개선할 수 있는 방법을 직원들에게 학습합니다.

데이터 민주화 여정이 시작되면 팀은 AI 및 머신 러닝과 같은 새로운 도구를 발전시키는 것을 포함하여 이 새로운 데이터 패러다임이 가져올 수 있는 것을 살펴보기 시작할 수 있습니다. 기업이 데이터 민주화를 사용하여 더 광범위한 AI 구현을 가능하게 할 수 있는 몇 가지 방법은 다음과 같습니다.

AI 사용 사례 정의

비즈니스 분석 및 자동화 우선순위에 대해 논의하고 AI를 먼저 구현할 위치를 결정합니다. 예를 들어 분석 도구에 투자하여 다양한 비즈니스 팀을 위한 내부 비즈니스 인텔리전스 보고서, 고객 서비스 챗봇 및 셀프 서비스 분석을 개발할 수 있습니다. 이러한 AI 도구를 한 번에 구현할 수는 없을 가능성이 높으므로 먼저 AI를 사용하기에 가장 적합한 영역을 정의하세요.

데이터 세트 식별

회사 내 모든 데이터가 AI 또는 해당 문제에 대한 사용 사례에 적합한 것은 아닙니다. 데이터 세트를 검토하고 추가 연구에 적합한 데이터 세트를 결정하여 관련 사용 사례를 해결하는 데 도움이 되는지 확인하세요. 데이터 민주화가 시행되면 회사는 이 프로세스를 추진하기 위한 데이터의 품질과 가용성, 그리고 각 사용 사례에 대한 ROI에 대한 더 큰 통찰력을 갖게 될 것입니다.

확장성을 위해 MLOps 사용

머신 러닝(ML) 모델의 개발은 오류가 발생하기 쉽고 시간이 많이 걸리는 것으로 악명이 높습니다. MLOps는 비즈니스 데이터에서 인사이트를 더 쉽게 추출할 수 있는 프로세스를 만듭니다. 또한 ML 모델 구축 프로세스를 자동화하도록 설계된 사전 구축된 ML 모델을 사용하는 머신 러닝 작업(MLOps)을 통해 프로세스를 최적화합니다.

AI를 투명하게 만들기

데이터 민주화를 통해 데이터 수집, 모델 구축, 배포, 관리 및 모니터링이 가시화됩니다. 그 결과 시장성 있는 AI 기반 제품과 더 큰 책임감을 갖게 됩니다.

데이터 민주화를 위한 두 가지 핵심 요소는 올바른 데이터 아키텍처에서 시작되지만, 올바른 자동화 및 AI 솔루션을 통해 더욱 강화됩니다. IBM은 조직이 하이브리드 및 멀티 클라우드 환경을 아우르는 모든 데이터를 AI 및 데이터 분석에 사용할 수 있도록 하는 통합 플랫폼에서 데이터 패브릭의 이점을 경험할 수 있도록 데이터 패브릭 아키텍처를 설계하고 구현하는 현대적인 접근 방식을 제공합니다.

Watsonx은 핵심 워크플로에서 생성형 AI의 영향을 가속화하여 생산성을 높이는 AI 제품 포트폴리오입니다. 이 포트폴리오는 세 가지 강력한 구성 요소로 구성됩니다. 바로 새로운 파운데이션 모델, 생성형 AI 및 머신 러닝을 위한 watsonx.ai 스튜디오, 데이터 레이크의 유연성과 데이터 웨어하우스의 성능을 위한 watsonx.data 합목적성 저장소입니다. 또한 watsonx.governance 툴킷을 통해 책임, 투명성 및 설명 가능성을 갖춘 AI 워크플로를 구축할 수도 있습니다.

이와 함께 watsonx는 조직에 다음과 같은 기능을 제공합니다.

1. watsonx.ai 를 사용하여 비즈니스 전반에서 AI를 훈, 조정 및 배포합니다.
2. watsonx.data를 사용하여 어디서나 모든 데이터에 대해 AI 워크로드를 확장합니다.
3. watsonx.governance를 통해 책임감 있고 투명하며 설명 가능한 데이터 및 AI 워크플로를 활성화합니다.