ETL(추출, 변환, 로드)이란 무엇인가요?

ETL 데이터 파이프라인은 데이터 분석 및 머신 러닝 작업 흐의 기반을 제공합니다. ETL은 일련의 비즈니스 규칙을 통해 데이터를 정리하고 구성하여 월간 보고와 같은 특정 비즈니스 인텔리전스 요구 사항을 해결하지만, 백엔드 프로세스와 최종 사용자 경험을 개선할 수 있는 고급 분석도 처리할 수 있습니다. ETL 파이프라인은 조직에서 다음과 같은 목적으로 사용되는 경우가 많습니다.

• 레거시 시스템에서 데이터 추출

• 데이터를 정리하여 데이터 품질 개선 및 일관성 확립

• 대상 데이터베이스에 데이터 로드

기업들은 주판을 쓰던 시대부터 데이터를 생성해 왔지만, 현대적 분석은 디지털 컴퓨터와 데이터 스토리지의 등장으로 비로소 가능해졌습니다.

1970년대에는 더 큰 중앙 집중식 데이터베이스로의 이동과 함께 중요한 진전이 이루어졌습니다. 이후 ETL이 계산 및 분석을 위해 데이터를 통합하고 로드하는 프로세스로 도입되었으며, 결국 데이터 웨어하우징 프로젝트를 위해 데이터를 처리하는 기본 방법이 되었습니다.

1980년대 후반에는 데이터 웨어하우스와 트랜잭션 데이터베이스에서 관계형 데이터 형식으로 정보를 저장하는 관계형 데이터베이스로의 전환이 인기를 얻었습니다. 기존 트랜잭션 데이터베이스는 트랜잭션별로 정보를 저장하고 각 트랜잭션과 함께 중복된 고객 정보를 저장했기 때문에 시간이 지남에 따라 통합된 방식으로 고객 데이터에 쉽게 액세스할 방법이 없었습니다. 관계형 데이터베이스를 통해 분석은 비즈니스 인텔리전스(BI)의 기반이자 의사 결정의 중요한 도구가 되었습니다.

고도화된 ETL 소프트웨어가 등장하기 전까지 초기 시도는 대부분 IT 팀이 다양한 시스템과 커넥터에서 데이터를 수작업으로 추출하고, 데이터를 공통 형식으로 변환한 후, 상호 연결된 테이블에 적재하는 방식이었습니다. 그럼에도 불구하고 초기 ETL 단계는 가치가 있었으며, 고급 알고리즘과 신경망의 발전으로 보다 심층적인 분석 인사이트를 얻을 수 있는 기회가 제공되었습니다.

1990년대에는 소셜 미디어 및 사물 인터넷(IoT)과 같은 새로운 소스에서 대량의 데이터를 가져오는 등 컴퓨팅 속도와 스토리지 용량이 지속적으로 빠르게 성장하면서 빅 데이터 시대가 도래했습니다. 데이터가 온프레미스 데이터 웨어하우스에 저장되는 경우가 많다는 제한 요인이 남아 있었습니다.

컴퓨팅과 ETL 모두에서 다음으로 중요한 진전은 1990년대 후반에 인기를 얻은 클라우드 컴퓨팅이었습니다. 이제 Amazon Web Services(AWS), Microsoft Azure 및 Snowflake와 같은 데이터 웨어하우스를 사용하여 전 세계에서 데이터에 액세스할 수 있으며, ETL 솔루션이 놀랍도록 상세한 인사이트와 새로운 경쟁 우위를 제공할 수 있도록 빠르게 확장할 수 있습니다.

최신 진화 단계는 스트리밍 데이터를 활용한 ETL 솔루션으로, 방대한 데이터에서 실시간에 가까운 인사이트를 제공합니다.

ETL과 ELT(추출, 로드, 변환)의 가장 두드러지는 차이점은 작업 순서의 차이입니다. ELT는 소스 위치에서 데이터를 복사하거나 내보내지만 변환을 위해 스테이징 영역에 로드하는 대신 원시 데이터를 대상 데이터 저장소에 직접 로드하여 필요에 따라 변환합니다.

두 프로세스 모두 데이터베이스, 데이터 웨어하우스 및 데이터 레이크와 같은 다양한 데이터 저장소를 활용하지만 각 프로세스에는 장점과 단점이 있습니다. ELT는 소스에서 직접 로드가 가능하므로 대용량 비정형 데이터 세트를 처리하는 데 유용합니다. ELT는 데이터 추출 및 저장을 위한 사전 계획이 많이 필요하지 않기 때문에 빅 데이터 관리에 더 이상적일 수 있습니다.

ETL 프로세스는 시작 시 더 많은 정의가 필요합니다. 서로 다른 소스 시스템 전반에서 통합할 수 있는 잠재적인 '키'와 함께 추출을 위해 특정 데이터 포인트를 식별해야 합니다. 입력 데이터의 소스는 대개 메타데이터를 사용하여 추적됩니다. 이 작업이 완료된 후에도 데이터 변환에 대한 비즈니스 규칙을 구성해야 합니다. 이 작업은 일반적으로 특정 유형의 데이터 분석에 대한 데이터 요구 사항에 종속될 수 있으며 이에 따라 데이터에 필요한 요약 수준이 결정됩니다.

클라우드 데이터베이스의 채택으로 ELT 파이프라인이 점점 더 보편화되고 있지만, ELT 기술은 여전히 발전 중인 프로세스로, 모범 사례가 확립되는 단계에 있습니다.

ETL의 작동 방식을 이해하는 가장 쉬운 방법은 프로세스의 각 단계에서 어떤 일이 발생하는지 이해하는 것입니다.

데이터를 추출하는 동안 원시 데이터는 소스 위치에서 스테이징 영역으로 복사되거나 내보내집니다. 데이터 관리 팀은 다양한 데이터 소스에서 데이터를 추출할 수 있으며 이는 정형 또는 비정형일 수 있습니다. 이러한 데이터 유형에는 다음이 포함되지만 이에 국한되지는 않습니다.

• SQL 또는 NoSQL 서버
• CRM 및 ERP 시스템
• JSON 및 XML
• 플랫 파일 데이터베이스
• 이메일
• 웹페이지

스테이징 영역에서 원시 데이터는 데이터 처리를 거칩니다. 여기서 데이터는 의도한 분석 사용 사례에 맞게 변환 및 통합됩니다. 변환 프로세스의 이 단계에는 다음이 포함될 수 있습니다.

• 데이터를 필터링, 정제, 집계, 중복 제거, 검증 및 인증합니다.
• 원시 데이터를 기반으로 계산, 번역 또는 요약을 수행합니다. 여기에는 일관성을 위해 행 및 열 머리글 변경, 통화 또는 기타 측정 단위 변환, 텍스트 문자열 편집 등이 포함될 수 있습니다.
• 데이터 품질 및 규정 준수를 보장하기 위한 감사를 수행하고 지표를 계산합니다.
• 업계 또는 정부 규제 기관에서 관리하는 데이터를 제거, 암호화 또는 보호합니다.
• 대상 데이터 웨어하우스의 스키마와 일치하도록 데이터를 테이블 또는 결합된 테이블로 포맷합니다.

마지막 단계인 로드에서는 변환된 데이터를 스테이징 영역에서 대상 데이터 웨어하우스로 이동합니다. 일반적으로 모든 데이터를 처음 로드한 다음 증분 데이터 변경 사항을 주기적으로 로드합니다. 드물게는 웨어하우스에서 데이터를 삭제하고 교체하는 전체 새로 고침을 수행하는 작업이 포함됩니다. ETL을 사용하는 대부분의 조직에서는 프로세스가 자동화되고 잘 정의되어 있으며 지속적이고 배치 중심적입니다. 일반적으로 ETL 로드 프로세스는 소스 시스템과 데이터 웨어하우스의 트래픽이 가장 낮은 시간대인 비업무 시간 동안 수행됩니다.

ETL과 ELT는 두 가지 데이터 통합 방법에 불과하며 데이터 통합 워크플로를 촉진하는 다른 접근 방식도 사용됩니다. 여기에는 다음이 포함됩니다.

• 변경 데이터 캡처(CDC)는 변경된 원본 데이터만 식별 및 캡처하고 해당 데이터를 대상 시스템으로 이동합니다. CDC는 ETL '추출' 단계에서 필요한 리소스를 줄이는 데 사용할 수 있습니다. 또한 데이터 레이크 또는 기타 저장소로 변환된 데이터를 실시간으로 이동하는 데 독립적으로 사용할 수도 있습니다.
  
  
• 데이터 복제는 데이터 소스의 변경 사항을 실시간 또는 일괄적으로 중앙 데이터베이스에 복사합니다. 데이터 복제는 데이터 통합 방법으로 나열되는 경우가 많습니다. 실제로 재해 복구를 위한 백업을 만드는 데 가장 자주 사용됩니다.
• 데이터 가상화는 소스 데이터를 대상 시스템에 물리적으로 복사, 변환 또는 로드하지 않고도 소프트웨어 추상화 계층을 사용하여 완벽하게 사용 가능한 완전하고 통합된 데이터 뷰를 생성합니다.데이터 가상화 기능을 통해 조직은 각각 별도의 플랫폼을 구축하고 관리하는 비용과 복잡성 없이 데이터 저장을 위해 동일한 소스 데이터에서 가상 데이터 웨어하우스, 데이터 레이크 및 데이터 마트를 생성할 수 있습니다. 데이터 가상화는 ETL과 함께 사용할 수 있지만 ETL 및 기타 물리적 데이터 통합 방법의 대안으로 점차 인식되고 있습니다.
  
  
• 스트림 데이터 통합(SDI) 은 말 그대로 데이터 스트림을 실시간으로 지속적으로 소비하고 변환한 다음 분석을 위해 대상 시스템에 로드합니다. 여기서 핵심 단어는 지속적입니다. SDI는 특정 시점에 소스에서 추출한 데이터의 스냅숏을 통합하는 대신 데이터가 제공될 때마다 지속적으로 통합합니다. SDI는 고객 경험, 사기 탐지 등을 개선하기 위해 분석, 머신 러닝 및 실시간 애플리케이션을 지원하는 데이터 저장소를 지원합니다.

ETL 솔루션은 데이터를 기타 저장소에 로드하기 전에 데이터 정제를 수행하여 품질을 개선합니다. 시간이 많이 소요되는 배치 작업인 ETL은 업데이트 빈도가 낮은 소규모의 대상 데이터 저장소 생성에 자주 권장됩니다. 반면 ELT(추출, 로드, 변환), 변경 데이터 캡처(CDC) 및 데이터 가상화를 비롯한 다른 데이터 통합 방법은 점점 증가하는 변경 데이터 또는 실시간 데이터 스트림을 통합하는 데 사용됩니다.

과거에는 조직이 자체 ETL 코드를 작성했습니다. 이제 다양한 오픈 소스 및 상용 ETL 도구와 클라우드 기반 서비스 중에서 선택할 수 있습니다. 이러한 제품의 일반적인 기능은 다음과 같습니다.

• 포괄적인 자동화 및 사용 편의성: 선도적인 ETL 툴은 데이터 소스에서 대상 데이터 웨어하우스에 이르는 전체 데이터 흐름을 자동화합니다. 이는 데이터 엔지니어가 데이터를 이동하고 형식을 지정하는 반복적인 작업에서 벗어나 더 빠른 결과와 보다 효율적인 운영을 가능하게 합니다.
  
  
• 시각적인 드래그 앤 드롭 인터페이스: 이 기능은 규칙 및 데이터 흐름을 지정하는 데 사용할 수 있습니다.
  
  
• 복잡한 데이터 관리 지원: 여기에는 복잡한 계산, 데이터 통합 및 문자열 조작에 대한 지원이 포함됩니다.
  
  
• 보안 및 규정 준수: 최고의 ETL 도구는 이동 중인 데이터와 저장된 데이터 모두를 암호화하며 HIPAA 및 GDPR을 비롯한 산업 또는 정부 규정을 준수하는 것으로 인증되었습니다.

또한 많은 ETL 도구가 ELT 기능을 포함하고 인공 지능(AI) 애플리케이션을 위한 실시간 및 스트리밍 데이터의 통합을 지원하도록 발전했습니다.

워크플로 통합을 포함하는 보다 유연하고 확장 가능한 솔루션을 위해 ETL 대신 EAI(엔터프라이즈 애플리케이션 통합)를 이용하는 API(애플리케이션 프로그래밍 인터페이스)를 사용할 수 있습니다. ETL이 여전히 주요 데이터 통합 리소스로 사용되고 있지만, EAI는 웹 기반 환경에서 API와 함께 점점 더 많이 활용되고 있습니다.