데이터 웨어하우스란?

데이터 웨어하우스는 다양한 소스의 데이터를 쿼리 및 분석에 최적화된 중앙 데이터 저장소로 집계합니다. 일반적으로 추출, 변환 및 로드(ETL) 또는 추출, 로드 및 변환(ELT) 프로세스를 사용해 정제하고 데이터를 준비 및 구성하여 비즈니스 인텔리전스(BI) 및 기타 데이터 분석 활용 사례에 사용합니다.

데이터 웨어하우징 시스템은 운영 데이터베이스, 트랜잭션 시스템 및 고객 관계 관리(CRM) 플랫폼을 포함한 다양한 소스 시스템으로부터 대량의 데이터를 통합할 수 있습니다. 셀프 서비스 분석 툴은 비즈니스 사용자가 이 데이터를 탐색하고 분석해 가치 있는 분석 정보를 얻을 수 있도록 지원합니다.

데이터 웨어하우스 개념은 서로 다른 데이터를 분석을 위한 일관된 형식으로 통합하기 위해 1980년대에 등장했습니다. 월드 와이드 웹, 소셜 미디어 및 사물 인터넷(IoT)과 같은 새로운 데이터 소스 수가 급증하면서 더 큰 스토리지 용량과 더 빠른 분석에 대한 수요도 증가했습니다.

데이터 웨어하우스는 거의 실시간에 가까운 분석을 위해 구성 및 최적화되어 있기 때문에 대규모 원시 비정형 빅데이터를 저장하는 데에는 일반적으로 적합하지 않습니다. 웨어하우스의 데이터 양이 증가함에 따라 스토리지 비용과 복잡성도 함께 증가합니다. 지연 시간 및 성능 문제도 발생할 수 있습니다.

이에 대응해 클라우드 네이티브 데이터 웨어하우스 및 데이터 레이크하우스와 같은 더 유연한 대안이 발전하게 되었습니다. 자세한 내용은 “데이터 웨어하우스와 데이터 레이크하우스 비교”를 참조하세요.

데이터 웨어하우스는 일반적으로 분석을 위해 데이터를 변환하도록 설계된 3계층 아키텍처를 사용합니다.

• 하위 계층
• 중간 계층
• 최상위 계층

데이터는 여러 소스 시스템에서 데이터 웨어하우스 서버로 이동하여 저장됩니다. 전통적으로, 데이터는 추출, 변환, 로드(ETL) 데이터 통합 프로세스를 통해 이동하는데, 이 프로세스는 자동화를 사용하여 데이터를 정리한 후 웨어하우스에 로드합니다.

데이터 웨어하우스는 주로 정형 데이터를 저장하므로, 데이터 변환은 데이터 로드 전에 발생합니다. 일부 현대식 웨어하우스는 추출, 로드, 변환(ELT) 프로세스를 사용합니다. 즉, 데이터를 웨어하우스에 로드한 후에 변환합니다. 이 방법은 표준화된 형식이 필요 없이 비정형 및 반정형 데이터를 저장할 수 있는 데이터 레이크에서 일반적으로 사용됩니다.

이 계층에는 일반적으로 온라인 분석 처리(OLAP) 시스템 기반의 분석 엔진이 포함됩니다. 기존의 관계형 데이터베이스(많은 데이터 웨어하우스를 포함)는 다차원 데이터(예: 판매 수치는 위치, 시간 및 제품과 같은 여러 차원을 가질 수 있음)를 저장할 수 있지만 다차원 쿼리에 최적화되어 있지는 않습니다.

OLAP 시스템은 대규모 데이터에 대한 고속의 복잡한 쿼리 및 다차원 분석을 위해 설계되었습니다. 이 시스템은 여러 차원에 걸쳐 더 빠르고 유연한 분석을 가능하게 하기 위해 “큐브”(배열 기반 다차원 데이터 구조)를 사용합니다. 일반적인 활용 사례에는 데이터 마이닝, 재무 분석, 예산 편성 및 예측 계획이 포함됩니다.

OLAP와 OLTP 비교: 온라인 트랜잭션 처리(OLTP) 시스템은 많은 사용자로부터 발생하는 대규모 실시간 트랜잭션을 수집하고 업데이트합니다. 반면 OLAP 시스템은 이미 수집된 데이터를 분석합니다.

다음은 데이터 웨어하우스에서 사용할 수 있는 세 가지 유형의 OLAP입니다.

• 다차원 온라인 분석 처리(MOLAP): 다차원 OLAP 큐브와 직접 연동하며 일반적으로 가장 빠르고 가장 실용적인 다차원 데이터 분석 유형입니다.
  
  
• 관계형 온라인 분석 처리(ROLAP): 먼저 큐브로 재구성하지 않고 관계형 테이블의 데이터에 대해 직접 작동하는 다차원 데이터 분석을 수행합니다.
  
  
• 하이브리드 온라인 분석 처리(HOLAP): 단일 OLAP 아키텍처 내에서 관계형 데이터베이스와 다차원 데이터베이스 간에 최적의 분업을 생성합니다.

데이터 웨어하우스의 마지막 계층은 비즈니스 데이터의 보고, 대시보드 및 임시 데이터 분석을 위한 프론트엔드 사용자 인터페이스를 제공합니다. 이러한 셀프 서비스 비즈니스 인텔리전스 툴을 사용하면 기술 데이터 엔지니어링 전문 지식 없이도 과거 데이터를 기반으로 보고서를 생성하고, 추세를 시각화하고, 워크플로 병목 현상을 식별할 수 있습니다.

데이터 웨어하우스는 독점적인 온프레미스 시스템에서 유연한 클라우드 및 하이브리드 모델로 전환하면서 크게 발전했습니다.

과거 데이터 웨어하우스는 범용 하드웨어를 사용해 온프레미스 환경에서 운영되었습니다. 이러한 시스템은 대규모 병렬 처리(MPP) 또는 대칭형 다중 처리(SMP) 아키텍처로 구성되었습니다. 또한 독립형 어플라이언스 형태로 제공되었습니다. 이러한 구축 방식에는 상당한 투자가 필요합니다. 하지만 엄격한 규정 준수, 데이터 보안 또는 데이터 개인정보 보호 기준이 요구되는 산업 분야의 조직에는 적합한 선택이 될 수 있습니다.

오늘날 많은 데이터 웨어하우스는 클라우드에서 실행되도록 구축되고 있습니다. 이들은 페타바이트 규모의 데이터 스토리지, 높은 확장성을 갖춘 컴퓨팅 및 스토리지, 사용량 기반 요금제와 같은 클라우드 컴퓨팅의 이점을 제공합니다. 클라우드 기반 데이터 웨어하우스는 일반적으로 완전 관리형 서비스형 소프트웨어(SaaS) 형태로 제공되며 하드웨어 또는 소프트웨어에 대한 초기 투자 필요성을 제거합니다.

이러한 서비스 제공 방식은 인프라 관리에 필요한 리소스도 줄여주므로 조직은 분석 및 분석 정보에 더욱 집중할 수 있습니다. 조직이 확장 유연성을 확보하고 온프레미스 데이터 센터 규모 및 레거시 인프라 비용을 줄이려 하면서 클라우드 기반 데이터 웨어하우스의 인기가 높아지고 있습니다.

일부 조직에서는 온프레미스와 클라우드 데이터 웨어하우스의 장점을 결합한 하이브리드 모델을 채택할 수 있습니다. 이 접근 방식을 사용하면 온프레미스로 유지해야 하는 민감한 워크로드에 대한 제어를 유지하면서 클라우드의 확장성과 유연성을 활용할 수 있습니다.

데이터 웨어하우스에서 스키마는 데이터가 어떻게 구성되는지를 정의합니다. 대표적인 스키마 구조에는 스타 스키마, 스노우플레이크 스키마 및 갤럭시 스키마(팩트 컨스텔레이션 스키마라고도 함)가 있습니다.

이러한 스키마는 모두 OLAP 시스템에서 데이터 검색 속도를 최적화하도록 설계된 차원형 데이터 모델입니다. 차원형 모델은 중복성을 증가시킬 수 있지만 보고 및 검색을 위한 정보 탐색을 더 쉽게 하고 쿼리 성능을 향상시킵니다.

이러한 스키마에는 팩트 테이블과 차원 테이블이 포함되며 정의는 다음과 같습니다.

• 팩트 테이블: 판매된 제품 또는 수익 금액과 같은 정량적 데이터 저장
  
  
• 차원 테이블: 판매 날짜 및 카테고리와 같은 사실에 대한 맥락적, 설명적 정보 저장

별 스키마는 차원 테이블로 둘러싸인 단일 중앙 팩트 테이블로 구성됩니다. 다이어그램에서 팩트 테이블은 별 패턴의 한가운데에 있는 것처럼 보일 수 있습니다. 별 스키마는 가장 간단하고 일반적인 스키마 유형으로 간주되며, 사용자에게 더 빠른 쿼리 속도를 제공합니다.

스노우플레이크 스키마는 중앙의 팩트 테이블을 중심에 두고 정규화된 여러 차원 테이블이 바깥으로 확장되는 구조이며 이러한 차원은 다대일 관계를 통해 다른 차원 테이블로 추가 확장됩니다. 이 복잡하고 분기된 패턴은 눈송이 모양과 유사합니다. 스노우플레이크 스키마는 데이터 중복 수준이 낮지만 그 대신 쿼리 성능이 느려질 수 있습니다.

은하에 많은 별이 포함되어 있듯이 갤럭시 스키마에는 여러 개의 스타 스키마가 포함됩니다. 이러한 스키마는 중복성을 줄이기 위해 정규화된 차원 테이블을 공유합니다. 갤럭시 스키마는 매우 복잡한 데이터 웨어하우스에 가장 적합하지만 사용자는 성능 저하를 경험할 수 있습니다.

일반적인 데이터 웨어하우스 아키텍처에는 데이터 웨어하우스를 위한 분석을 위한 데이터를 저장, 관리, 처리 및 전달하기 위해 함께 작동하는 여러 구성 요소가 있습니다.

• ETL/ELT 툴
• API 계층
• 데이터 계층(중앙 데이터베이스)
• 메타데이터
• Sandbox
• 액세스 툴

ETL 툴은 소스 시스템에서 데이터를 추출하여 스테이징 영역에서 변환한 후 데이터 웨어하우스에 로드합니다. ELT에서는 데이터가 웨어하우스에 로드된 후 변환됩니다. Apache Spark와 같은 데이터 처리 프레임워크 툴은 데이터 변환을 관리하는 데 도움이 될 수 있습니다.

애플리케이션 프로그래밍 인터페이스(API)를 위한 연결 계층은 웨어하우스가 운영 시스템에서 데이터를 가져오고 운영 시스템과 통합하는 데 도움이 될 수 있습니다. API는 시각화 및 고급 분석 툴에 대한 액세스를 제공할 수도 있습니다.

데이터 계층(또는 중앙 데이터베이스)은 데이터 웨어하우스의 핵심입니다. 이 계층에서는 비즈니스 애플리케이션, 이메일 목록, 웹사이트 또는 기타 데이터베이스와 같은 다양한 소스의 데이터를 통합 및 저장합니다. ETL 또는 ELT 데이터 파이프라인이 이 계층을 지원하며 관계형 데이터베이스 관리 시스템(RDBMS) 또는 클라우드 데이터 웨어하우스 플랫폼이 이를 구동합니다. 내장된 데이터 거버넌스 및 보안 기능은 데이터를 분할하여 사용자가 필요한 데이터에 액세스할 수 있도록 지원합니다.

메타데이터는 데이터에 대한 데이터로, 시스템에 저장된 데이터를 설명하여 검색하고 분석에 사용할 수 있도록 합니다. 여기에는 기술 메타데이터(예: 테이블 구조 및 데이터 유형)와 설명 메타데이터(예: 작성자, 생성 날짜 또는 파일 크기)가 포함됩니다. 메타데이터는 효과적인 데이터 거버넌스 와 데이터 관리 의 핵심입니다.

일부 데이터 웨어하우스는 샌드박스를 제공하는데 이는 운영 데이터 복사본과 관련 분석 툴이 포함된 격리된 테스트 환경입니다. 데이터 분석가와 데이터 과학자는 실제 웨어하우스 운영에 영향을 주지 않고 샌드박스에서 새로운 분석 기법을 테스트할 수 있습니다.

액세스 툴은 데이터 웨어하우스에 연결되어 사용하기 쉬운 프런트엔드를 제공합니다. 비즈니스 사용자와 데이터 분석가는 대시보드, 애플리케이션 및 데이터 시각화 툴을 사용해 데이터와 상호작용하고 분석 정보를 도출할 수 있습니다. 이러한 툴의 예로는 Tableau, Looker 및 Qlik이 있습니다.

데이터 웨어하우스에는 다음과 같은 세 가지 주요 유형이 있습니다.

• 엔터프라이즈 데이터 웨어하우스(EDW)
• 운영 데이터 저장소(ODS)
• 데이터 마트

기업 데이터 웨어하우스(EDW)는 기업 전체를 지원하는 데이터 웨어하우스입니다. 이는 모든 팀과 업무 영역을 위한 과거 데이터의 중앙 집중식 정보 저장소 역할을 합니다. 기업 데이터 웨어하우징 환경에는 운영 데이터 저장소(ODS) 및 부서별 데이터 마트도 포함될 수 있습니다.

운영 데이터 저장소(ODS)에는 최신 운영 데이터 스냅샷이 포함됩니다. ODS는 자주 업데이트되므로 거의 실시간에 가까운 데이터에 빠르게 액세스할 수 있습니다. 조직은 일반적으로 ODS를 일상적인 운영 의사결정 및 실시간 분석에 활용합니다. 또한 EDW 또는 기타 데이터 시스템의 데이터 소스로도 사용될 수 있습니다.

데이터 마트는 기존 데이터 웨어하우스(또는 기타 데이터 소스)의 하위 집합이며 기업 전체가 아닌 특정 사업 부문 또는 부서에 맞춰진 데이터를 포함합니다. 예를 들어 기업은 마케팅 부서에 맞춘 데이터 마트를 구축할 수 있습니다. 이를 통해 해당 사용자는 더 광범위한 기업 데이터 세트를 탐색하지 않고도 고객 세분화 및 캠페인 성과에 대한 보다 집중적인 분석 정보에 액세스할 수 있습니다.

데이터 웨어하우스, 데이터베이스, 데이터 레이크 및 데이터 레이크하우스라는 용어는 때때로 같은 의미로 사용되지만 중요한 차이점이 있습니다.

데이터베이스는 주로 자동화된 데이터 캡처와 빠른 트랜잭션 처리를 위해 구축된 파일 캐비닛과 같습니다. 일반적으로 특정 애플리케이션에 대한 집중 데이터 저장소 역할을 합니다. 데이터 웨어하우스는 조직에 있는 여러 애플리케이션의 데이터를 저장하며 예측 분석 및 기타 고급 분석을 위해 최적화되어 있습니다.

데이터 레이크는 방대한 양의 원시 데이터를 위한 저비용 스토리지 솔루션이며 사전 정의된 스키마 대신 schema-on-read 방식을 사용합니다. 데이터 레이크는 문서, 동영상, IoT 로그 및 소셜 미디어 게시물과 같은 정형 데이터, 비정형 데이터 및 반정형 데이터를 저장할 수 있습니다.

이들은 Apache Hadoop과 같은 빅데이터 플랫폼 또는 Amazon Simple Storage Service(Amazon S3)와 같은 클라우드 객체 스토리지 서비스를 기반으로 구축될 수 있습니다. 이들은 일반적으로 데이터 웨어하우스처럼 분석을 위해 데이터를 정제, 검증 또는 정규화하지는 않습니다.

데이터 레이크하우스는 데이터 웨어하우스와 데이터 레이크의 장점을 결합한 것으로 데이터 레이크의 저비용 유연성과 데이터 웨어하우스의 고성능을 동시에 제공합니다. 데이터 레이크와 데이터 웨어하우스의 핵심 기능을 단일 데이터 플랫폼으로 결합함으로써 데이터 레이크하우스는 대규모 정형 데이터, 비정형 데이터 및 실시간 데이터 처리 속도를 향상시킬 수 있습니다.

또한 머신 러닝, 데이터 과학 및 인공지능(AI) 워크로드를 보다 효율적으로 지원합니다.데이터 레이크하우스는 공유 메타데이터 및 분산형 구조화 질의 언어(SQL) 엔진과 같은 기능도 추가할 수 있습니다.

데이터 웨어하우스는 조직 전체 사용자가 인사이트와 정보를 사용할 수 있도록 하여 다음과 같은 많은 이점을 제공합니다.

• 데이터 품질 개선
• AI 및 머신 러닝 지원
• 향상된 의사 결정 지원

데이터 웨어하우스는 ELT 또는 ETL 프로세스를 통해 데이터가 저장되기 전에 수집 데이터를 준비합니다. 이 준비 과정에는 데이터 품질 관리 방식인 데이터 정제, 표준화 및 중복 제거가 포함됩니다. 강력한 데이터 거버넌스 정책과 운영 방식은 모든 사용자를 위한 데이터 정확성 및 무결성 확보에도 도움이 됩니다.

조직은 고품질 데이터를 단일 저장소에 통합함으로써 포괄적이고 신뢰할 수 있는 단일 정보 원본을 구축할 수 있으며 이를 통해 데이터 사일로를 제거하는 데 도움이 됩니다. 이러한 중앙 저장소를 통해 비즈니스 사용자는 조직의 관련 데이터에 자신 있게 액세스하고 이를 비즈니스 의사결정에 활용할 수 있습니다. 기업용 데이터 웨어하우스는 Apache Iceberg, Parquet 및 CSV와 같은 오픈 소스 형식 지원을 포함할 수도 있으며 이를 통해 기업 전반에서 데이터 액세스 및 공유를 더욱 원활하게 수행할 수 있습니다.

최신 데이터 웨어하우스는 정제되고 신뢰할 수 있는 데이터를 제공함으로써 다양한 AI 및 머신 러닝 워크플로를 지원할 수 있습니다. 데이터 과학자는 정제 및 검증된 웨어하우스 데이터를 사용해 자체 생성형 AI 모델을 구축하거나 기존 모델을 파인튜닝하여 고유한 비즈니스 요구 사항에 더 적합하게 활용할 수 있습니다.

AI 활용 준비가 된 데이터 웨어하우스는 데이터를 수집, 정제, 구성 및 구조화할 수 있어야 하며 AI 및 머신 러닝 플랫폼으로의 데이터 흐름을 지원해야 합니다. 하지만 모든 최신 데이터 웨어하우스가 AI 워크로드에 최적화되어 있는 것은 아닙니다. 데이터 레이크하우스는 AI 인프라를 위한 선호 데이터 플랫폼으로 점점 더 자리 잡고 있습니다.

데이터 웨어하우스는 다양한 소스의 데이터를 중앙 집중화하고 정리하여 신뢰할 수 있는 단일 소스를 생성함으로써 조직에 엔터프라이즈 데이터에 대한 포괄적이고 신뢰할 수 있는 보기를 제공합니다. 셀프 서비스 BI 툴을 사용하면 기업 전체의 사용자가 집계된 데이터에 대한 분석 쿼리에 액세스하고 실행할 수 있습니다.

이러한 방식으로 데이터 웨어하우스를 사용하면 기술 수준에 관계없이 모든 비즈니스 사용자가 주제, 트렌드 및 집계를 발견하고 보고할 수 있습니다. 비즈니스 리더는 이러한 인사이트를 활용하여 비즈니스 프로세스부터 재무 관리 및 재고 관리에 이르기까지 조직의 거의 모든 영역에서 확실한 증거를 기반하여 더 나은 정보에 입각한 의사 결정을 내리고 예측을 수행할 수 있습니다.

데이터 웨어하우스는 다음과 같은 산업별 용도를 제공할 수 있습니다.

조직이 비즈니스 애플리케이션(BI), 웹사이트 및 기타 데이터베이스와 같은 여러 운영 시스템으로부터 대규모 데이터를 집계하는 경우 데이터 웨어하우스는 효과적인 선택이 될 수 있습니다. 특히 BI 툴 또는 대시보드를 사용해 복잡한 과거 데이터 분석을 수행하려는 경우 매우 유용합니다.

비용 최적화를 위해서는 데이터와 컴퓨팅 리소스를 분리하여 각각 별도로 확장할 수 있는 아키텍처를 고려하는 것이 좋습니다. 또한 비용 효율적인 클라우드 객체 스토리지 및 AI 기반 워크로드 관리를 사용해 리소스를 자동으로 분배할 수 있습니다. 오픈 데이터 형식은 웨어하우스와 레이크하우스 간 데이터 공유를 더욱 쉽게 만들어 스토리지 비용과 복잡성을 줄여줍니다.

데이터 정제 및 표준화를 위한 강력한 ETL/ELT 프로세스와 견고한 데이터 거버넌스 정책, 그리고 문제가 발생하는 즉시 탐지할 수 있는 데이터 관측 가능성은 데이터 품질 문제 해결에 도움이 될 수 있습니다. “시프트 레프트” 접근 방식은 다운스트림이 아닌 근본 원인에 더 가까운 단계에서 데이터 품질 문제를 탐지하고 해결하는 데에도 도움이 될 수 있습니다.

데이터베이스는 주로 빠른 트랜잭션 처리를 위해 구축되며 일반적으로 특정 애플리케이션의 데이터 스토리지 역할을 합니다. 데이터 웨어하우스는 다양한 소스에서 대규모 데이터를 집계한 후 이를 정제하고 준비하여 비즈니스 인텔리전스, 분석 쿼리 및 기타 고급 데이터 분석에 활용합니다.

데이터 엔지니어는 인프라를 구축 및 유지 관리하고 최고 데이터 책임자(CDO)는 데이터 전략을 수립하며 데이터 관리 기능을 감독합니다. 비즈니스 인텔리전스 팀은 시맨틱 계층과 대시보드를 관리하며 부서 간 협업 데이터 거버넌스 팀은 데이터 품질 및 보안을 확보하도록 지원합니다.