데이터 거버넌스 프레임워크는 중요한 데이터 자산을 관리하기 위한 조직의 구조와 프로세스를 자세히 설명합니다. 데이터 소유권 및 책임을 정의하고 데이터 품질, 보안 및 규정 준수를 유지하기 위해 데이터를 처리하는 방법을 지정합니다.

프레임워크는 일반적으로 특정 조직의 고유한 데이터 시스템, 데이터 소스, 업계 프로토콜 및 정부 규정에 맞춰 조정된 로드맵이므로, 모든 상황에 맞는 단일 프레임워크는 없습니다.

데이터 거버넌스 프레임워크는 일반적으로 다음과 같은 항목을 다룹니다.

• 프로그램 목표, 역할 및 의무
• 데이터 표준, 정책 및 프로세스
• 감사 절차
  
• 데이터 거버넌스 툴

데이터 거버넌스 프로그램은 일반적으로 데이터 품질 향상, 규정 준수 지원, 데이터 기반 의사 결정 활성화 등 구체적인 목표 또는 목표 집합을 정의합니다. 또한 이러한 목표에 대한 진행 상황을 측정하기 위한 메트릭을 선택합니다. 주요 거버넌스 메트릭에는 다음이 포함될 수 있습니다.

• 데이터 오류 및 중복 감소.

• 효율성 향상과 시장 출시 시간 단축으로 인한 비용 절감.

• 데이터 일관성 및 완전성.

• 직원의 데이터 활용 능력 및 프로세스 규정 준수 수준.

또한 거버넌스 프로그램은 운영 위원회, 데이터 소유자, 데이터 관리자 및 이해관계자 등 관련된 모든 사람의 역할과 책임을 정의합니다.

• 운영 위원회 또는 거버넌스 위원회 구성원은 데이터 거버넌스 전략과 프레임워크의 전반적인 방향을 감독합니다. 이 위원회에는 다양한 부서를 감독하는 최고 경영진 또는 부사장과 같은 고위 임원이 포함되는 경우가 많습니다.
  
  
• 데이터 소유자는 각 사업부에서 특정 데이터 도메인을 감독합니다. 이들은 데이터 정확성, 품질, 일관성을 유지할 책임을 맡고 있으며 데이터 거버넌스 솔루션, 데이터 정책, 규제 요구 사항에 대한 의견을 제공합니다.
  
  
• 데이터 관리자는 특정 데이터 도메인의 일상적인 관리를 처리합니다. 
  
  
• 이해관계자와 비즈니스 팀은 기업 데이터의 소비자입니다. 

거버넌스 프레임워크는 관리할 데이터와 원하는 결과를 중심으로 매개변수를 설정합니다. 여기에는 데이터 형식, 데이터 모델, Master Data Management(MDM), 메타데이터, 명명 규칙 등에 대한 가이드라인 설정이 포함됩니다. 

거버넌스 프레임워크는 데이터 흐름을 매핑하고 데이터를 수집, 저장, 이동 및 보관하는 방법을 정의하는 경우가 많습니다. 또한 거버넌스 노력과 조직의 광범위한 데이터 아키텍처를 지원할 하드웨어, 소프트웨어 및 서비스를 식별할 수도 있습니다.

일부 거버넌스 프레임워크는 마스터 데이터, 메타데이터 및 기록 데이터와 같은 특정 데이터 자산에 대한 액세스 매개변수인 데이터 범위를 정의할 수 있습니다. 데이터 범위는 사용자와 앱이 필요한 데이터에만 액세스할 수 있고 아무도 액세스해서는 안 되는 데이터에 액세스할 수 없도록 하는 데 도움이 될 수 있습니다.

거버넌스 프레임워크는 거버넌스 프로그램의 투명성과 설명 가능성을 유지하기 위한 테스트, 감사 및 기록 보관 절차를 간략하게 설명합니다.

정기적인 감사는 사용자가 데이터 거버넌스 프레임워크를 준수하고 있는지 확인하는 데 도움이 될 수 있습니다. 감사는 또한 새로운 데이터, 프로세스 또는 기술을 설명하기 위해 거버넌스 프로그램이 발전해야 하는 방법을 식별하는 데 도움이 될 수 있습니다.

마지막으로, 감사는 조직이 규정 준수를 달성하고 입증하는 데도 도움이 될 수 있습니다.  

기술은 효과적인 데이터 거버넌스에서 중요한 역할을 합니다. 기업 데이터 거버넌스 툴은 포괄적인 플랫폼부터 전문 포인트 솔루션까지 다양합니다. 조직은 고유한 데이터 아키텍처와 거버넌스 프레임워크에 따라 다양한 툴을 선택합니다.

데이터 거버넌스 솔루션의 일반적인 능력은 다음과 같습니다.

• 데이터 검색 및 분류 자동화.

• 데이터 보호 규칙 및 역할 기반 액세스 제어 적용

• 개인 정보 보호 및 규정 준수 요구 사항 해결

• 메타데이터 관리, 데이터 카탈로그 작성 및 데이터 리니지 추적 자동화.

• 비즈니스 용어집 지원.

데이터 거버넌스 솔루션은 다양한 데이터 형식을 처리할 수 있습니다. 일부는 복잡한 데이터 세트와 관계에 대한 이해를 높이기 위해 시각화 능력을 제공하여 추세, 이상치 및 주의가 필요한 영역을 더 쉽게 식별할 수 있도록 해줍니다.

데이터 거버넌스 프레임워크를 구현하면 조직은 다음과 같은 다양한 이점을 실현할 수 있습니다.

• 기업 데이터에서 더 많은 가치 창출
• 혁신 및 효율성 촉진
• 신뢰할 수 있는 단일 소스(SSOT) 제공
• 데이터 프라이버시, 보안 및 규정 준수 보장
• AI 이니셔티브에 데이터를 안전하게 사용
• 보다 정확한 데이터 분석 지원

결함이 있는 데이터를 기반으로 의사 결정을 내리는 경우 조직은 효과적인 비즈니스 의사 결정을 내릴 수 없습니다. 데이터 거버넌스는 강력한 엔드투엔드 데이터 관리 프로세스를 지원하는 강력한 데이터 관리 프레임워크를 구축하여 데이터 무결성, 정확성, 완전성 및 일관성을 보장할 수 있습니다.

신뢰할 수 있는 데이터는 조직이 새로운 기회를 발견하고, 고객과 워크플로를 더 잘 이해하며, 전반적인 비즈니스 성능을 최적화하는 데 도움이 됩니다.

데이터 거버넌스가 부족하면 성능 메트릭에 오류가 발생하여 조직을 잘못된 방향으로 이끌 수 있는 반면, 데이터 거버넌스 툴은 부정확성이 비즈니스 전략에 영향을 미치기 전에 이를 해결할 수 있도록 도와줍니다.

예를 들어, 데이터 리니지 도구는 데이터 소유자가 추출, 변환, 로드(ETL) 또는 추출, 로드, 변환(ELT) 프로세스 중에 데이터가 경험하는 모든 변환을 포함하여 데이터 수명 주기 전반에 걸쳐 데이터를 추적하는 데 도움이 될 수 있습니다. 이를 통해 조직은 데이터 오류의 근본 원인을 파악하고 해결할 수 있습니다.

조직 전체에서 데이터 액세스가 제한되면 혁신이 제한되고, 주제별 전문가(SME)에 대한 종속성이 발생하며, 비즈니스 프로세스가 느려질 수 있습니다.

데이터 거버넌스 프로그램은 데이터 접근을 적절하게 분산하여 각 부서 또는 개인에게 필요한 데이터에만 접근할 수 있도록 합니다. 이를 통해 여러 부서의 팀이 데이터를 안전하게 유지하면서 보다 긴밀하고 효율적으로 협업할 수 있습니다. 

적절하게 관리되는 데이터 시스템은 전체 조직에 단일 정보 소스를 제공할 수 있습니다. 모든 당사자가 동일한 데이터 세트로 작업할 때 의사 결정을 개선할 수 있습니다.

데이터 정의와 메타데이터를 단일 데이터 카탈로그에 중앙 집중화하면 혼란과 비효율을 줄일 수 있습니다. 이 문서는 조직 전체에서 일관된 데이터와 데이터 액세스를 가능하게 하는 셀프 서비스 솔루션의 기반이 됩니다.

데이터 거버넌스 정책에는 EU의 일반 데이터 보호 규정(GDPR), 미국 건강 보험 양도 및 책임에 관한 법률(HIPAA) 및 PCI 보안표준위원회(PCI DSS)와 같은 업계 요구 사항 등 민감한 데이터 및 개인정보 보호에 관한 정부 규정을 보다 쉽게 충족하기 위한 운영이 포함되는 경우가 많습니다. 이러한 규제 요구 사항을 위반하면 값비싼 정부 벌금과 대중의 반발이 발생할 수 있습니다.

데이터 거버넌스 도구를 통해 조직이 데이터 침해, 유출 및 오용을 방지할 수 있는 가드레일을 설정할 수 있습니다. 거버넌스 프레임워크는 명확하고, 설명 가능하며, 공정하고, 포용적인 데이터 시스템을 구축하는 데 도움이 됩니다. 결과적으로 이러한 데이터 시스템은 개인 정보 보호 및 보안을 보호하고 고객 충성도와 신뢰를 유지합니다.

IDC 설문조사에서 응답자의 45.3%만이 보안 침해, 책임 문제, 노출된 고객 데이터 및 규제 위험으로부터 보호하기 위해 "책임감 있는 AI 원칙을 시행하는 규칙, 정책 및 프로세스"를 갖추고 있다고 답했습니다.¹

데이터 거버넌스에는 조직에서 사용하는 모든 데이터의 출처, 민감도 및 수명 주기를 이해하는 것이 포함됩니다. 이는 모든 AI 거버넌스 관행의 기반이며 다양한 기업 위험을 완화하는 데 매우 중요합니다.

데이터 거버넌스는 조직이 관련 규칙과 규정을 준수하고 데이터를 보호하면서 동시에 AI 및 ML 이니셔티브에 고품질 데이터를 제공하는 데 도움이 됩니다. 예를 들어, 거버넌스 도구는 민감한 개인 데이터가 AI에 제공되어서는 안 될 때 제공되지 않도록 하는 데 도움이 될 수 있습니다.

올바른 데이터를 보유하는 것은 고급 데이터 분석 및 데이터 과학 이니셔티브의 기초입니다. 신중하게 관리되는 데이터는 비즈니스 인텔리전스 보고나 보다 복잡한 예측 기계 학습(ML) 프로젝트와 같은 가치 있는 이니셔티브를 가능하게 합니다.

예를 들어 데이터가 어떻게 구성되어 있는지 더 잘 이해하기 위해 데이터를 검토하고 정리하는 등 데이터를 적절하게 프로파일링하면 서로 다른 데이터 집합과 원본 간의 관계를 더 잘 이해하는 데 도움이 될 수 있습니다.

데이터 거버넌스 이니셔티브는 구현 과정에서 많은 어려움에 직면할 수 있습니다. 이러한 과제 중 일부는 다음과 같습니다.

• 적절한 후원 부족
• 일관성 없는 데이터 아키텍처
• 데이터 가시성 및 제어
• 액세스 수요 증가
• AI 데이터 요구 사항

효과적인 데이터 거버넌스 프로그램은 일반적으로 경영진과 개인 기여자의 두 가지 수준의 후원을 필요로 합니다. CDO 및 데이터 관리자는 조직 내 데이터 거버넌스의 커뮤니케이션과 우선 순위 지정에 중요한 역할을 합니다.

CDO는 데이터 거버넌스 정책이 채택될 수 있도록 데이터 팀 전반을 감독하고 책임을 강제할 수 있습니다. 데이터 관리자는 데이터 생산자와 소비자에게 이러한 정책에 대한 인식을 높여 조직 전체에서 규정 준수를 장려할 수 있습니다. 

적절한 후원이 없으면 데이터 사용자는 거버넌스 정책을 인식하지 못하거나 관심을 갖지 않을 수 있습니다. 이로 인해 규정 미준수, 데이터 무결성 저하 및 데이터 보안이 손상될 수 있습니다.

올바른 툴과 데이터 아키텍처가 없으면 조직은 효과적인 데이터 거버넌스 프로그램을 구축하는 데 어려움을 겪을 수 있습니다. 

예를 들어, 팀은 여러 기능에서 중복 데이터를 발견할 수 있습니다. 효과적인 거버넌스를 구현하려면 Data Architect가 적절한 데이터 모델과 데이터 아키텍처를 개발하여 스토리지 시스템 전반에서 데이터를 병합하고 통합해야 합니다.

팀은 조직 전체에 걸쳐 데이터 재고를 만들기 위해 데이터 카탈로그를 채택해야 할 수도 있습니다. 또는 이미 메타데이터 관리 프로세스가 있는 경우, 기본 데이터의 관련성과 최신성을 보장하는 데 도움이 되는 메타데이터 관리 프로세스를 만들어야 할 수도 있습니다.

데이터 거버넌스, 특히 하이브리드 및 멀티클라우드 환경에서는 여러 공급자와 위치에 걸쳐 여러 형식으로 저장된 데이터가 포함되는 경우가 많습니다. 또한 데이터는 데이터 레이크, 데이터 레이크하우스 및 데이터 웨어하우스와 같은 다양한 유형의 데이터 저장소에 있을 수 있습니다. 

섀도우 IT는 이 과정에 추가적인 방해 요소로 작용할 수 있습니다. TechTarget 연구에 따르면 두 번째로 흔한 데이터 보안 문제는 직원들이 IT 승인 없이 클라우드 애플리케이션과 서비스에 가입하는 것이었습니다.²

이러한 데이터 분산으로 인해 데이터 흐름 및 데이터 사용량을 추적하고 모니터링하기가 어려울 수 있습니다. 데이터 거버넌스를 위해서는 데이터 소스, 대상, 변환, 종속성, 소유권, 액세스 권한 및 책임에 대한 명확한 이해가 필요합니다.

여러 환경에서 데이터 거버넌스 정책을 시행하려면 데이터 소유자, 데이터 관리자, 데이터 소비자, 데이터 규제 기관 등 다양한 이해관계자 간의 조정이 필요할 수 있습니다.

셀프 서비스 분석 및 비즈니스 인텔리전스의 부상으로 데이터 거버넌스에는 새로운 과제가 생겼습니다.

더 많은 사용자의 액세스 요청이 이전보다 더 빠르게 들어오고 있지만 거버넌스 팀은 속도와 접근성, 개인정보 보호 및 보안 문제 사이에서 균형을 잡아야 합니다. 또한 데이터 유출을 방지하기 위해 스트리밍 데이터 시스템 및 절차를 세밀하게 조정해야 합니다.

AI 학습 및 운영의 기반이 되는 데이터를 제공할 때 많은 데이터 스토리지 및 거버넌스 툴이 부족합니다.

결국 AI는 본질적으로 표준 IT 기반 프로세스 및 기능보다 복잡하기 때문에 능동적이고 정보에 입각한 데이터 거버넌스의 중요성이 커집니다. KPMG 보고서에 따르면 현재 기업을 위협하는 가장 큰 위험 중 하나로 AI 거버넌스 격차를 꼽았습니다.³ 예를 들어, 적절한 보호 장치가 마련되어 있지 않으면 AI가 민감한 개인 정보 또는 기업 기밀을 실수로 노출할 수 있습니다.

AI 위험과 복잡성을 줄이기 위해, 조직에서는 AI에 최적화된 데이터 저장 기능과 AI를 염두에 두고 고안된 데이터 거버넌스 프로그램을 결합할 수 있습니다.

데이터 거버넌스 프레임워크를 계획하고 만들려면 여러 이해관계자와 팀의 시간과 노력이 필요합니다. 조직이 거버넌스 프로그램을 구현할 때 사용하는 일반적인 방법은 다음과 같습니다.

• 효율성 향상을 위한 자동화
• 편의성과 데이터 안전성의 균형
• 데이터 카탈로그 구축
• 성숙도 모델 사용
• 지속적인 모니터링 및 개선

데이터 거버넌스 프로세스의 특정 부분을 자동화하면 효율성을 높이고 오류를 줄이는 데 도움이 될 수 있습니다. 데이터 거버넌스 및 관리 툴은 다음과 같은 일상적인 작업을 자동화하는 데 도움이 될 수 있습니다.

• 데이터 리니지를 구축하여 복잡한 수작업 코딩 솔루션 없이도 시스템을 통한 데이터의 흐름을 시각화할 수 있습니다.
  
  
• 정책을 전파하여 메타데이터 태그를 특정 데이터 요소(예: 열 또는 테이블)에 할당하여 민감한 정보로 식별합니다.
  
  
• 직원이 데이터를 사용하는 방식을 이해하기 위해 데이터 상호 작용을 기록하는 감사 로그를 생성합니다.
  
  
• 데이터 분류는 PII, 금융 데이터, 지적 재산 또는 기밀 정보 등 사전 정의된 카테고리를 기반으로 합니다.

강력한 데이터 보안 및 액세스 제어는 모든 데이터 거버넌스 프레임워크의 기본입니다. 동시에 조직은 특정 데이터 세트를 보고 사용할 수 있는 권한이 있는 사용자가 최대한 원활하게 데이터에 액세스할 수 있기를 원합니다. 셀프 서비스 정보에 쉽게 액세스할 수 없으면 협업과 새로운 인사이트가 방해받게 됩니다.

많은 조직이 가시성 부족으로 인해 데이터 관리에 어려움을 겪습니다. 중앙 데이터 카탈로그는 신뢰할 수 있는 단일 소스로 작동하여 데이터 통합 및 거버넌스 이니셔티브를 지원할 수 있습니다.

Gartner 보고서에 따르면, 조직이 분산되어 있는 다양한 데이터 자산을 찾고, 인벤토리를 만들고, 분석하는 데 어려움을 겪으면서 데이터 카탈로그에 대한 수요가 증가하고 있습니다. 강력한 데이터 카탈로그를 통해 조직은 대규모로 정보를 더 쉽게 찾고 분류할 수 있어 데이터 거버넌스 정책을 더 효과적으로 시행할 수 있습니다.

많은 조직이 명확한 거버넌스 로드맵을 만드는 것이 도움이 된다고 생각합니다. 성숙도 모델은 이 로드맵을 제공할 수 있습니다.

데이터 거버넌스 성숙도 모델은 데이터 거버넌스 프로그램의 현재 상태를 평가하고, 목표를 설정하고, 시간 경과에 따른 진행 상황을 추적하는 데 도움이 되는 도구입니다.

조직은 정기적인 평가 및 보고 메커니즘을 구축하여 시간 경과에 따른 데이터 및 거버넌스 메트릭을 모니터링할 수 있습니다. 이러한 평가는 조직이 문제를 파악하고 거버넌스 프로세스를 개선하는 데 도움이 될 수 있습니다.

프레임워크를 정기적으로 후기하고 피드백, 새로운 규정 또는 비즈니스 전략의 변경 사항에 따라 조정하면 프레임워크가 관련성 있고 효과적인 상태를 유지하는 데 도움이 됩니다.

또한 평가를 통해 데이터를 전략적 자산으로 소중히 여기는 문화를 조성하여 조직 전체에서 효과적인 비즈니스 인텔리전스 및 데이터 사용을 지원할 수 있습니다.