추출, 로드, 변환(ELT)이란 무엇인가요?

ELT는 일반적으로 ETL(또는 추출, 변환, 로드) 데이터 통합에 대응하는 개념으로 알려져 있습니다. 그러나 ETL과 달리 ELT 파이프라인은 데이터 변환을 데이터 통합 프로세스의 중간이 아닌 끝에 배치합니다. 이러한 접근 방식을 통해 소스에서 대상으로 더 빠른 데이터 이동이 가능해지며, 데이터 변환이 대상 시스템 내에서 이루어집니다.

조직은 클라우드 환경 내에서 증가하는 데이터 자산을 처리하는 과정에서 ELT에 의존하고 있습니다. ELT를 통해 기업은 클라우드 플랫폼의 컴퓨팅 성능과 탄력성을 활용하여 필요에 따라 대규모로 데이터를 변환할 수 있습니다. 이러한 유연성을 통해 기업은 다양한 소스와 형식의 데이터를 수집 및 변환하고 향후 사용 사례를 위해 원시 데이터에 대한 액세스를 유지할 수 있습니다. 또한 기업은 ELT를 사용하여 적은 초기 비용으로 파이프라인을 구축할 수 있습니다.

ELT는 처음에는 배치 기반 프로세스였으나, Apache Kafka와 같은 실시간 데이터 스트리밍 플랫폼을 사용하여 스트리밍 데이터 통합을 지원할 수 있습니다. 다른 주요 ELT 도구로는 주요 데이터 저장소와 통합되는 데이터 통합 및 데이터 변환 솔루션이 있습니다.

ELT를 통해 기업은 방대한 양의 데이터를 빠르게 저장하고 클라우드 네이티브 데이터 아키텍처의 이점을 활용할 수 있습니다.

ELT는 다음과 같은 두 가지 주요 이유로 2010년경부터 통합 프로세스가 되었습니다.

• 데이터 볼륨 급증
• 클라우드 컴퓨팅의 가용성

전례 없는 대규모 데이터 자산을 관리하고자 하는 조직들은 클라우드 환경으로 눈을 돌렸습니다. 클라우드 환경은 온프레미스 서버보다 저렴하고 확장가능한 스토리지를 제공할 수 있습니다. 즉, 클라우드 환경은 많은 경우 증가하는 다양한 데이터 세트를 위한 이상적인 저장소로 간주됩니다.

마찬가지로 중요한 것은 클라우드 플랫폼과 클라우드 기반 데이터 웨어하우스를 통해 대규모 데이터 변환이 가능해졌다는 것입니다. 이 모델을 사용하면 더 이상 기존 ETL 파이프라인에서처럼 데이터 파이프라인 중간에서 데이터를 변환할 필요가 없습니다. 대신 대상 시스템에서 데이터를 효율적으로 변환할 수 있습니다(ELT 접근 방식).

데이터 엔지니어는 ELT를 선호하는 경우가 많은데, 이는 기존 ETL보다 방대한 양의 데이터를 처리하는 데 더 뛰어나고 반정형 및 비정형 데이터를 포함한 더 다양한 데이터를 수용할 수 있기 때문입니다. ELT는 원시 데이터 가용성을 유지하는 데도 이점이 있습니다. 즉, 변환을 실행하기 전에 다양한 팀과 데이터 과학자가 분석에서 머신 러닝에 이르기까지 미래의 요구 사항을 위해 원시 데이터를 유지하면서 특정 요구 사항을 충족하도록 변환 로직을 조정할 수 있습니다.

IBM의 수석 기술 고문인 Jamil Spain은 "사용 사례와 달성하고자 하는 목표가 중요합니다."라며, "먼저 로드를 수행한 다음 샌드박스로 이동하여 어떤 데이터를 가지고 있는지 파악하는 것이 합리적일 수 있습니다. 그 다음에는 원하는 형식으로 변환하는 작업을 진행할 수 있습니다."라고 말했습니다.

역사적으로 ELT는 배치 지향 프로세스였습니다. 하지만 데이터 엔지니어링의 발전으로 이제는 Apache Kafka와 같은 이벤트 스트리밍 플랫폼을 사용하여 ELT를 배포하고 스트리밍 데이터를 통합하며 실시간 분석을 지원하는 것이 가능해졌습니다.

Spain은 "수신된 원시 데이터는 특정 Kafka 토픽에 저장되고, 마치 진화하는 스트림처럼 작동합니다."라고 설명했습니다. "그럼 프로그래밍 논리를 써서 요약하거나 계산을 할 수 있으며... 데이터가 성장함에 따라 분석할 수 있습니다."

Kafka는 오픈 소스 솔루션이지만, IBM 계열사인 Confluent와 같은 엔터프라이즈급 솔루션은 향상된 데이터 관리 기능, 안전한 거버넌스, 사전 구축된 커넥터 및 고객 지원을 통해 Kafka 구현을 개선할 수 있습니다.

ELT는 추출, 로드 및 변환의 세 가지 기본 단계로 구성됩니다. 각 단계는 다음 섹션에 자세히 설명되어 있습니다.

데이터를 추출하는 동안 데이터는 소스 위치에서 복사되거나 내보내기됩니다. 데이터는 많은 데이터 유형으로 구성될 수 있으며 다음을 포함하되 이에 국한되지 않는 거의 모든 정형 또는 비정형 데이터 소스에서 가져올 수 있습니다.

• SQL 및 NoSQL 서버
• 고객 관계 관리(CRM) 시스템
• 전사적 자원 관리(ERP) 시스템
• API
• 이메일, 텍스트 및 문서 파일
• JSON 및 CSV 파일
• 웹페이지

추출된 데이터는 데이터 웨어하우스 또는 데이터 레이크와 같은 데이터 스토리지 영역으로 이동됩니다. 이 단계에서는 Missing Values 해결과 같은 일부 데이터 정제를 포함하여 소량의 데이터 처리가 수행될 수 있습니다.

일반적으로 로딩은 소비자가 시간에 민감한 분석이나 인사이트를 위해 데이터를 사용하려고 하지만 기존 ETL 프로세스를 기다릴 시간이 없는 업무 시간 동안 이루어집니다.

이 단계에서는 SQL과 Data Build Tool(dbt)과 같은 도구를 사용하여 대상 시스템 데이터 내에서 데이터가 변환됩니다. 이 단계에는 다음이 포함될 수 있습니다.

• 데이터 정제, 중복 제거, 필터링, 검증 및 인증합니다.

• 원시 데이터를 기반으로 계산, 번역, 데이터 분석 또는 요약을 수행합니다. 여기에는 일관성을 위한 행 및 열 머리글 변경부터 통화 또는 측정 단위 변환은 물론, 텍스트 문자열 편집, 값 추가 또는 평균화 등 조직의 특정 비즈니스 인텔리전스 또는 분석 니즈에 맞는 필요한 작업이 포함될 수 있습니다.

• 유럽 연합의 일반 데이터 보호 규정(GDPR) 및 미국 건강 보험 양도 및 책임에 관한 법률(HIPAA)과 같은 정부 또는 업계 규정이 적용되는 데이터를 제거, 암호화, 숨기기 또는 보호합니다.

ELT를 아주 비슷한 약어로 알려진 관련 프로세스와 혼동할 수 있습니다. 그러나 ELT(추출, 로드, 변환)와 ETL(추출, 변환, 로드) 사이에는 몇 가지 뚜렷한 차이점이 있습니다.

이 두 가지의 주된 차이점은 작업 순서입니다. ELT와 달리, ETL은 로드 함수 전에 변환 함수를 수행합니다. 두 프로세스의 가장 중요한 차이점은 다음과 같습니다.

ELT는 프로세스를 워크플로에 통합하는 사용자에게 몇 가지 이점을 제공합니다.

• 데이터 이동 속도 증대: 데이터 전송 중 변환으로 인한 속도 저하가 없으므로 재고 부족 알림부터 주식 거래에 이르기까지 시간에 민감한 사용 사례에 필요한 데이터가 더 빠르게 도착합니다.

• 향상된 파이프라인 복원력: 변환 단계와 로드 단계를 분리함으로써 변환 단계에서 발생하는 코딩 오류 또는 기타 오류가 파이프라인을 중단시키지 않도록 합니다.

• 더욱 다양한 데이터: ELT는 다양한 소스에서 다양한 형식의 데이터를 추출하고 로드할 수 있습니다.

• 데이터 재사용성: 데이터가 원시 형식으로 저장되므로, 서로 요구 사항이 다른 다양한 이해관계자가 동일한 데이터에 액세스하고 고유한 변환 논리를 적용할 수 있습니다.

• 확장성 증가: ELT는 클라우드 기반 리포지토리의 성능과 크기를 활용하여 대규모 혁신을 가능하게 합니다.

• 비용 효율성: 초기 비용을 낮추고 필요에 따라 유연한 클라우드 컴퓨팅 및 스토리지 리소스를 활용하여 비용 효율성을 달성할 수 있습니다.

이러한 장점에도 불구하고 ELT를 구현하는 데에는 어려움이 따를 수 있습니다.

데이터를 정리하고 구성하는 전송 중 변환 과정이 없으면 기업은 대상 시스템으로 전달되는 원시 데이터에서 데이터 품질, 규정 준수 및 보안 문제를 겪을 수 있습니다. 데이터 거버넌스 프로그램은 데이터 품질 및 규정 준수 표준을 시행하고 데이터 암호화 및 역할 기반 접근 제어와 같은 보안 관행을 강화하여 이러한 우려를 해결하는 데 도움이 될 수 있습니다.

탄력적인 클라우드 자원을 사용하는 것은 비용 효율적일 수 있지만, 데이터 양이 증가하면 비용도 계속 증가할 수 있습니다. 클라우드 비용 최적화는 클라우드 비용을 줄이는 데 도움이 되는 전략과 도구로 구성된 실천 방안으로, 기업이 예상보다 높은 요금 청구서를 피할 수 있도록 해줍니다.

ELT는 최신 클라우드 인프라에서 작동하도록 설계되었으므로 온프레미스 인프라와 레거시 시스템을 사용하는 기업은 일반적으로 기존 파이프라인 아키텍처, 즉 ETL 파이프라인이 데이터 통합 요구 사항에 더 적합합니다.

ELT 워크플로를 구현하려면 데이터 통합 및 변환 도구가 필요합니다.

선도적인 데이터 통합 솔루션은 ELT와 전통적인 ETL 파이프라인을 모두 지원하는 유연성을 제공하는 경우가 많습니다. 그 밖의 주요 기능은 다음과 같습니다.

• 서로 다른 데이터 소스에서 데이터를 수집하는 다양한 커넥터 세트
• 혁신 도구 및 데이터 웨어하우스와의 통합
• 데이터 스트리밍 솔루션과의 통합
• 더 많은 사용자가 더 빠르게 파이프라인을 구축할 수 있도록 하는 노코드 및 로우코드 옵션과 AI 기반 파이프라인 설계
• 더 안정적인 파이프라인을 위한 통합 관측 가능성, 품질, 계보, 거버넌스

ELT를 지원하는 데이터 통합 도구는 IBM® DataStage, Fivetran과 같은 상용 솔루션부터 Airbyte와 같은 오픈 소스 솔루션에 이르기까지 다양합니다.

데이터 변환을 위한 업계 표준 도구는 Data Build Tool(dbt)입니다. dbt가 지원하는 주요 데이터 관련 작업은 다음과 같습니다.

• 데이터 변환을 위한 복잡한 워크플로 관리
• 보고 및 분석을 위해 원시 데이터를 구조화된 형식으로 변환하여 데이터 준비
• 데이터 변환의 다양한 단계를 나타내는 재사용 가능한 계층화 모델 생성
• 데이터 변환이 올바른 순서로 실행되고 더 큰 데이터 워크플로와 통합될 수 있도록 지원

많은 경우 기업은 dbt를 사용하여 데이터를 Amazon Redshift 및 Google BigQuery와 같은 데이터 웨어하우스, Snowflake와 같은 데이터 관리 플랫폼, watsonx.data와 같은 데이터 레이크하우스로 변환합니다.

ELT는 일반적으로 대용량 또는 실시간 데이터 사용 환경에서 사용됩니다. 예를 들면 다음과 같습니다.

ELT를 사용하면 인공 지능 및 머신 러닝 워크로드에 중요한 다양한 데이터를 신속하게 수집할 수 있습니다. 데이터는 원시 형식으로 로드되므로 다양한 AI 모델의 구축 및 훈련에 재사용할 수 있습니다. MIT 슬론 경영대학원의 보고서에 따르면, 데이터 재사용성은 AI 기반 비즈니스 이니셔티브의 성능을 개선합니다.

ELT를 통해 기업은 다양한 소스의 고객 데이터를 통합하여 세분화 및 개인화 이니셔티브에 정보를 제공할 수 있습니다. 예를 들어, 고객 구매 내역, 검색 행동 및 인구 통계학적 특성에 관한 정보 수집 및 분석은 e-Commerce 소매업체가 맞춤형 제안 및 할인을 설계하는 데 도움이 될 수 있습니다.

기업은 ELT를 사용하여 시스템 전반에서 데이터를 효율적으로 집계한 다음 변환을 적용하여 특정 규제 요구 사항을 충족하는 동시에 감사 추적과 원본 원시 데이터에 대한 접근을 유지할 수 있습니다. 한 연구에서는 하이브리드 클라우드 ELT 시스템이 위험, 금융 및 규제 보고 시 지연을 40% 줄일 수 있다고 밝혔 습니다.

ELT는 센서, 사물인터넷(IoT) 장치 및 재고 관리 시스템에서 데이터를 수집하는 것을 지원합니다. 이 접근 방식을 통해 배송 경로 및 재고 관리 개선에 도움이 되는 분석 정보를 획득할 수 있습니다. 예를 들어, 수집된 판매 및 주문 이행 관련 데이터를 분석하면 소매업체가 재고 수준을 최적화하여 재고 부족을 방지하는 데 도움이 될 수 있습니다.