최신 데이터 스택이란 무엇인가요?

기존의 레거시 데이터 스택(LDS)은 확장성, 유연성 및 실시간 처리에 어려움을 겪을 수 있는 경직된 온프레미스 인프라에 의존합니다. 반면, MDS는 자동화를 간소화하고 비용을 최적화하며 인사이트를 가속화하도록 설계된 클라우드 네이티브 모듈식 솔루션을 제공합니다. 특히 MDS는 오늘날 많은 기업이 사용하는 셀프 서비스 분석 및 인공 지능(AI) 애플리케이션을 강화합니다.

데이터 플랫폼은 최신 소프트웨어 개발의 중추 역할을 하며, 애플리케이션을 효율적으로 구축하고 관리할 수 있는 툴과 프레임워크 네트워크를 제공합니다. MDS를 디지털 운영의 조립 라인이라고 생각하면 각 구성 요소는 수집에서 분석까지 데이터를 원활하게 이동시키는 역할을 합니다. MDS는 워크플로를 자동화하고 확장함으로써 조직이 데이터를 정밀하게 처리, 저장, 사용할 수 있도록 하여 더 나은 의사 결정과 혁신을 추진할 수 있도록 지원합니다.

MDS의 주요 기능은 다음과 같습니다.

• 스토리지: 클라우드 데이터 웨어하우스, 데이터 레이크 또는 하이브리드 데이터 레이크하우스에서 데이터를 통합합니다.
• 수집: 분석을 위해 다양한 소스의 데이터를 데이터 파이프라인으로 옮기는 작업입니다.
• 변환: 정리, 정규화 및 집계와 같은 프로세스를 통해 원시 데이터를 구조화된 형식으로 변환합니다.
• 비즈니스 인텔리전스(BI) 및 분석: 분석 툴을 사용하여 인사이트를 생성하고, 트렌드를 시각화하며, 머신 러닝(ML) 모델을 강화합니다.
• 데이터 관측성: 품질, 가용성 및 신뢰성을 보장하기 위해 데이터를 모니터링, 관리 및 유지 관리합니다.

2012년과 2016년 사이에 워크플로의 대대적인 변화로 조직이 데이터를 저장하고 처리하는 방식이 바뀌었습니다. Snowflake, Google BigQuery, Amazon Redshift와 같은 클라우드 기반 플랫폼은 전례 없는 확장성, 컴퓨팅 성능, 효율성을 제공하여 클라우드 데이터 웨어하우스를 대중화했습니다.

동시에 조직은 저장하기 전에 데이터를 변환하는 기존의 ETL(추출,변환, 로드) 워크플로에서 데이터를 먼저 저장하고 나중에 처리하는 ELT(추출,로드, 변환)로 전환했습니다. 이 접근 방식은 커넥터 또는 확장 프로그램을 사용하여 데이터 이동을 간소화함으로써 유연성을 높이고 실시간 인사이트에 더 쉽게 액세스할 수 있도록 했습니다.

이 기간 동안 Fivetran 및 Airflow와 같은 툴은 데이터 수집을 자동화했으며, Tableau, Power BI 및 Looker와 같은 플랫폼은 BI에 혁명을 일으켰습니다. 리버스 ETL은 데이터 흐름을 개선하여 웨어하우스에서 얻은 인사이트를 고객 관계 관리 시스템(CRM)과 같은 운영 시스템으로 전달하여 자동화, 의사 결정 및 개인화를 개선합니다. 이러한 혁신은 MDS의 기반을 마련하여 더욱 확장 가능하고 자동화되며 유연한 데이터 워크플로를 가능하게 했습니다. 조직은 데이터 이동과 통합을 간소화하여 운영 민첩성을 향상시켰습니다.

MDS의 중요성을 이해하려면 LDS와 비교해 보는 것이 도움이 됩니다.

주요 차이점 한눈에 보기

• 인프라: LDS는 물리적 서버에 의존하는 반면, MDS는 클라우드 기반입니다.
• 확장성: LDS는 수동 확장이 필요하지만, MDS는 수요에 따라 동적으로 확장됩니다.
• 통합: LDS는 사용자 지정 워크플로에 의존하지만, MDS는 데이터 수집을 자동화합니다.
• 유연성: LDS는 모놀리식이고, MDS는 모듈식으로 툴을 원활하게 통합할 수 있습니다.
• 분석: LDS는 일괄 보고를 지원하며, MDS는 실시간 인사이트와 대화형 대시보드를 제공합니다.
• 비용: LDS에는 상당한 초기 투자가 필요하지만, MDS는 종량제 모델을 사용합니다.

기존 LDS는 온프레미스 인프라에 구축되어 하드웨어, 유지보수 및 수동 확장에 상당한 투자가 필요했습니다. 이는 ETL 워크플로에 의존하므로 스토리지에 저장하기 전에 데이터를 정리하고 구조화해야 합니다. LDS는 정적 보고에는 효과적이지만 실시간 처리, 확장성 및 센서 로그, 이미지 또는 오디오와 같은 비정형 데이터 처리에 어려움을 겪고 있습니다.

MDS는 클라우드 네이티브 모듈식 접근 방식으로 이러한 문제를 해결하여 조직이 방대한 양의 정형 및 비정형 데이터를 보다 효율적으로 저장, 처리 및 분석할 수 있도록 지원합니다. ELT 워크플로에서는 자동화 및 데이터 처리를 위해 Python 기반 스크립팅을 사용하여 유연성을 높입니다.

비용이 많이 드는 인프라 확장이 필요한 LDS와 달리, MDS는 온디맨드 확장성을 제공하며 모듈식 특성상 기업이 공급업체 종속 없이 데이터 스택 툴을 통합할 수 있습니다. 마지막으로, MDS는 실시간 인사이트와 AI 기반 분석 및 자동화를 지원하여 조직 전체에서 데이터에 더 쉽게 액세스하고 실행할 수 있도록 합니다.

MDS는 다음과 같은 몇 가지 핵심 구성 요소로 구성됩니다.

• 데이터 스토리지
• 데이터 수집
• 데이터 변환
• BI 및 분석
• 데이터 관측성

데이터 스토리지 계층은 MDS의 기본 역할을 하며 정형 및 비정형 데이터를 관리할 수 있는 중앙 집중식 환경을 제공합니다. 조직은 비용, 성능 및 확장성 요구 사항과 같은 요소를 기반으로 IBM, AWS 또는 Microsoft와 같은 공급자의 스토리지 솔루션을 선택할 수 있습니다.

데이터 스토리지 유형:

• 데이터 웨어하우스: 여러 소스의 정형 데이터가 분석, AI 및 ML에 최적화된 단일 중앙 데이터 저장소로 집계됩니다. 제공업체로는 Snowflake, GoogleBigQuery 및 Amazon Redshift가 있습니다.
• 데이터 레이크 : 데이터 레이크는 다양한 형식의 원시, 정형 및 비정형 데이터를 보유합니다. 이를 통해 조직은 방대한 양의 데이터를 저장할 수 있으며, AI, ML 및 연구 애플리케이션을 위해 페타바이트 규모 이상에 도달하는 경우가 많습니다. 많은 데이터 레이크가 처음에는 Hadoop을 기반으로 구축되었지만, 현재 대부분의 최신 아키텍처는 AWS S3 및 IBM Cloud Object Storage(COS)와 같은 Cloud Object Storage 솔루션을 사용합니다.
• 데이터 레이크하우스: 데이터 레이크의 확장성과 데이터 웨어하우스의 구조화된 쿼리 기능을 결합한 하이브리드 접근 방식입니다. 즉, 믿을 수 없을 정도로 정확한 인덱스를 가진 무한한 아카이브입니다. 레이크하우스는 정형, 반정형 및 비정형 데이터를 저장하는 동시에 BI, 분석 및 ML 워크로드를 지원합니다.

데이터 수집은 처리 및 분석을 위해 다양한 소스에서 데이터를 수집하고 중앙 집중식 스토리지 시스템으로 이동하는 프로세스입니다. 데이터 파이프라인의 효율성은 빅데이터가 얼마나 잘 수집되고 통합되는지에 달려 있습니다. 이 단계의 오류는 분석 및 AI 모델의 다운스트림에서 문제를 일으킬 수 있으므로 데이터 엔지니어의 역할이 매우 중요합니다.

데이터 수집 유형:

• 일괄 처리: 가장 일반적인 수집 방법인 일괄 처리는 데이터를 그룹(또는 배치)으로 수집하여 예약된 간격으로 스토리지로 전송합니다. 이 방법은 비용 효율적이며 실시간 업데이트가 필요하지 않은 경우에 적합합니다.
• 실시간 처리: "스트림 처리"라고도 하는 이 방법은 데이터가 생성될 때 지속적으로 수집하고 처리합니다. AI 애플리케이션, 사기 탐지 및 실시간 분석에 매우 중요합니다. 하지만 더 높은 컴퓨팅 리소스가 필요합니다.

Apache Airflow, Stitch 및 Fivetran과 같은 자동화된 수집 툴은 조직이 시스템 간에 데이터를 원활하게 이동할 수 있도록 지원하여 수동 작업을 줄이고 데이터 통합 효율성을 개선합니다.

원시 데이터는 수집 시 일관성이 없거나 비정형인 경우가 많아 기본 형식으로 분석하기 어렵습니다. 데이터 변환 계층은 데이터가 깨끗하고 구조화되어 있으며 분석, 보고 및 ML과 같은 작업에 최적화되도록 보장합니다.

일반적인 데이터 변환 작업:

• 데이터 정리: 오류, null 값, 중복을 제거합니다.
• 정규화: 일관성을 위해 데이터 형식을 표준화합니다.
• 집계: 보고를 위해 대규모 데이터 세트를 요약합니다.
• 병합: 여러 소스의 데이터를 하나의 통합 데이터 세트로 결합합니다.

지금까지 데이터 변환은 ETL 워크플로를 따랐습니다. 그러나 클라우드 기반 스토리지 솔루션이 등장하면서 대부분의 조직은 이제 ELT 프로세스를 사용합니다. dbt 및 Dataform과 같은 데이터 변환 툴은 워크플로를 자동화하고 데이터가 정확하고 일관성이 있으며 분석에 사용할 준비가 되었는지 확인하는 데 도움이 됩니다.

BI 및 분석 계층은 데이터 분석, 시각화, 트렌드 분석, 구조화된 쿼리 언어(SQL) 쿼리 및 AI 기반 자동화를 통해 원시 데이터를 실행 가능한 인사이트로 변환합니다. Tableau, Power BI 및 Looker와 같은 툴은 대화형 대시보드와 실시간 데이터 분석을 제공하여 조직이 성과를 추적하고 전략을 구체화하는 데 도움을 줍니다.

데이터 시각화 외에도 AI 기반 분석과 데이터 과학은 이상 징후를 감지하고 추세를 예측하며 워크플로를 자동화함으로써 의사 결정을 개선하는데, 이 모든 것은 강력한 데이터 관리 관행에 달려 있습니다. 고객 행동 분석, 재무 예측, 공급망 최적화 등 어떤 용도로 사용하든 BI 툴은 기업이 전략적 환경과 운영 환경 모두에 데이터를 사용할 수 있도록 지원합니다.

데이터 관측성은 데이터 상태를 지속적으로 모니터링하여 데이터 품질, 가용성 및 안정성을 보장합니다. 이 계층은 데이터 팀이 분석에 영향을 미치기 전에 끊어진 파이프라인, 누락된 레코드 또는 느린 처리를 감지하는 데 도움이 됩니다.

Monte Carlo 및 Datadog과 같은 관측 가능성 툴은 데이터 흐름에 대한 인사이트를 제공하여 엔지니어가 실시간으로 워크플로를 진단하고 개선할 수 있도록 합니다. 조직은 문제를 사전에 해결함으로써 데이터 무결성을 유지하고 데이터 기반 의사 결정을 개선할 수 있습니다. 강력한 관측 가능성 관행은 잘 구조화된 데이터 모델을 지원하고 이해관계자가 데이터 라이프사이클 전반에 걸쳐 인사이트를 신뢰할 수 있도록 보장합니다.

MDS는 5가지 기본 계층 외에도 접근성과 기능을 향상하기 위해 다른 구성 요소를 포함하는 경우가 많습니다. 이러한 구성 요소에는 다음이 포함될 수 있습니다. 

• 데이터 디스커버리: 데이터 디스커버리는 조직이 숨겨져 있거나 분산된 데이터 소스를 표면화하고 평가하는 데 도움이 되며, 이를 통해 데이터 팀은 귀중한 정보를 추출하고 효과적으로 활용할 수 있습니다.
• 데이터 거버넌스: 정책과 보호 장치를 수립하면 보안, 규정 준수 및 데이터 일관성을 보장하는 데 도움이 될 수 있습니다. 거버넌스는 데이터 흐름을 관리하고 정형 데이터 모델을 적용함으로써 효율적인 워크플로를 지원하고 실시간 규정 준수 모니터링을 보장합니다.
• 데이터 카탈로그화: 팀은 메타데이터 를 사용하여 데이터 웨어하우스, 데이터 레이크 및 기타 스토리지 환경 전반의 데이터 자산에 대한 구조화된 재고를 만들 수 있습니다. 잘 관리된 카탈로그는 전체 데이터 라이프사이클을 지원하며 이해관계자가 필수 정보에 빠르게 액세스하고 사용할 수 있도록 합니다.
• ML 및 AI: 일부 데이터 플랫폼은 ML과 AI를 통합하여 데이터 처리를 개선하고, 예측 모델링을 개선하고, 인사이트를 자동화하고, 이상 징후 탐지를 강화합니다. 또한 ML 모델은 비효율성을 식별하고 데이터 팀을 위한 실시간 개선 사항을 제안하여 워크플로를 최적화합니다.

기업은 자체 MDS를 배포하여 AI 기반 개인화, 고객 인사이트, 물류 및 사기 탐지를 개선할 수 있습니다.

실시간 의사 결정, 자동화 및 AI 기반 인사이트에 의존하는 기업은 MDS를 사용하여 데이터 접근성을 향상하고 운영을 간소화합니다. 기술, 금융, 의료, 이커머스, 물류 등의 산업에서는 대규모 데이터 소스를 통합하고 분석 기능을 개선하며 보다 효율적인 의사 결정 및 오케스트레이션을 지원하기 위해 MDS를 사용하는 경우가 많습니다.

그러나 데이터가 비즈니스 운영의 거의 모든 측면에 영향을 미치는 세상에서 진짜 문제는 어떤 산업이 MDS의 이점을 누릴 수 있는지가 아니라 이것이 조직이 효율성과 적응력을 높이는 데 어떻게 도움이 될 수 있는지입니다. AI 채택, 오픈 소스 툴 및 실시간 데이터 처리가 계속 발전함에 따라 MDS는 조직이 데이터 아키텍처를 현대화하기 위한 보다 일반적인 접근 방식이 되고 있습니다.