ETL과 ELT의 가장 분명한 차이점은 작업 순서의 차이입니다. ELT는 소스 위치에서 데이터를 복사하거나 내보내지만 변환을 위해 스테이징 영역에 로드하는 대신 원시 데이터를 대상 데이터 저장소에 직접 로드하여 필요에 따라 변환합니다.

두 프로세스 모두 데이터베이스, 데이터 웨어하우스 및 데이터 레이크와 같은 다양한 데이터 저장소를 활용하지만 각 프로세스에는 장점과 단점이 있습니다. ELT는 소스에서 직접 로드가 발생할 수 있으므로 대용량의 비정형 데이터 세트에 특히 유용합니다. ELT는 데이터 추출 및 저장을 위한 사전 계획이 많이 필요하지 않기 때문에 빅 데이터 관리에 더 이상적일 수 있습니다.

반면에 ETL 프로세스는 시작 시 더 많은 정의가 필요합니다. 서로 다른 소스 시스템에서 통합할 수 있는 잠재적인 '키'와 함께 추출을 위해 특정 데이터 포인트를 식별해야 합니다. 이 작업이 완료된 후에도 데이터 변환에 대한 비즈니스 규칙을 구성해야 합니다. 이 작업은 일반적으로 특정 유형의 데이터 분석에 대한 데이터 요구 사항에 종속될 수 있으며 이에 따라 데이터에 필요한 요약 수준이 결정됩니다.

ELT는 클라우드 데이터베이스의 도입과 함께 점점 더 대중화되고 있지만 새로운 프로세스인 만큼 아직 모범 사례가 확립되고 있다는 단점도 있습니다.

ETL의 작동 방식을 이해하는 가장 쉬운 방법은 프로세스의 각 단계에서 어떤 일이 발생하는지 이해하는 것입니다.

추출

데이터를 추출하는 동안 원시 데이터는 소스 위치에서 스테이징 영역으로 복사되거나 내보내집니다. 데이터 관리 팀은 다양한 데이터 소스에서 데이터를 추출할 수 있으며 이는 정형 또는 비정형일 수 있습니다. 이러한 소스에는 다음이 포함되지만 이에 국한되지는 않습니다.

• SQL 또는 NoSQL 서버
• CRM 및 ERP 시스템
• 플랫 파일
• 이메일
• 웹페이지

변환

스테이징 영역에서 원시 데이터는 데이터 처리를 거칩니다. 여기서 데이터는 의도한 분석 사용 사례에 맞게 변환 및 통합됩니다. 이 단계에는 다음 작업이 포함될 수 있습니다.

• 데이터를 필터링, 정제, 중복 제거, 유효성 검사 및 인증합니다.
• 원시 데이터를 기반으로 계산, 번역 또는 요약을 수행합니다. 여기에는 일관성을 위해 행 및 열 머리글 변경, 통화 또는 기타 측정 단위 변환, 텍스트 문자열 편집 등이 포함될 수 있습니다.
• 데이터 품질 및 규정 준수를 보장하기 위해 감사를 수행합니다.
• 업계 또는 정부 규제 기관에서 관리하는 데이터를 제거, 암호화 또는 보호합니다.
• 대상 데이터 웨어하우스의 스키마와 일치하도록 데이터를 테이블 또는 결합된 테이블로 포맷합니다.

로드

마지막 단계인 로드에서는 변환된 데이터를 스테이징 영역에서 대상 데이터 웨어하우스로 이동합니다. 일반적으로 모든 데이터를 처음 로드한 다음 증분 데이터 변경 사항을 주기적으로 로드합니다. 드물게는 웨어하우스에서 데이터를 삭제하고 교체하는 전체 새로 고침을 수행하는 작업이 포함됩니다. ETL을 사용하는 대부분의 조직에서는 프로세스가 자동화되고 잘 정의되어 있으며 지속적이고 배치 중심적입니다. 일반적으로 ETL은 소스 시스템과 데이터 웨어하우스의 트래픽이 가장 적은 근무 외 시간에 이루어집니다.

ETL과 ELT는 두 가지 데이터 통합 방법에 불과하며 데이터 통합 워크플로를 촉진하는 다른 접근 방식도 사용됩니다. 여기에는 다음이 포함됩니다.

• 변경 데이터 캡처(CDC)는 변경된 원본 데이터만 식별 및 캡처하고 해당 데이터를 대상 시스템으로 이동합니다. CDC는 ETL '추출' 단계에서 필요한 리소스를 줄이는 데 사용할 수 있습니다. 또한 데이터 레이크 또는 기타 저장소로 변환된 데이터를 실시간으로 이동하는 데 독립적으로 사용할 수도 있습니다.
• 데이터 복제는 데이터 소스의 변경 사항을 실시간 또는 일괄적으로 중앙 데이터베이스에 복사합니다. 데이터 복제는 데이터 통합 방법으로 나열되는 경우가 많습니다. 실제로 재해 복구를 위한 백업을 만드는 데 가장 자주 사용됩니다.
• 데이터 가상화는 소스 데이터를 대상 시스템에 물리적으로 복사, 변환 또는 로드하지 않고도 소프트웨어 추상화 계층을 사용하여 완벽하게 사용 가능한 완전하고 통합된 데이터 뷰를 생성합니다. 데이터 가상화 기능을 통해 조직은 각각 별도의 플랫폼을 구축하고 관리하는 비용과 복잡성 없이 데이터 저장을 위해 동일한 소스 데이터에서 가상 데이터 웨어하우스, 데이터 레이크 및 데이터 마트를 생성할 수 있습니다. 데이터 가상화는 ETL과 함께 사용할 수 있지만 ETL 및 기타 물리적 데이터 통합 방법의 대안으로 점차 인식되고 있습니다.
• 스트림 데이터 통합(SDI)은 말 그대로 데이터 스트림을 실시간으로 지속적으로 소비하고 변환한 다음 분석을 위해 대상 시스템에 로드합니다. 여기서 핵심 단어는 지속적입니다. SDI는 특정 시점에 소스에서 추출한 데이터의 스냅샷을 통합하는 대신 데이터가 제공될 때마다 지속적으로 통합합니다. SDI는 고객 경험, 사기 탐지 등을 개선하기 위해 분석, 머신 러닝 및 실시간 애플리케이션을 지원하는 데이터 저장소를 지원합니다. 

ETL 솔루션은 데이터를 기타 저장소에 로드하기 전에 데이터 정제를 수행하여 품질을 개선합니다. 시간이 많이 소요되는 배치 작업인 ETL은 업데이트 빈도가 낮은 소규모의 대상 데이터 저장소 생성에 자주 권장됩니다. 반면 ELT(추출, 로드, 변환), 변경 데이터 캡처(CDC) 및 데이터 가상화를 비롯한 다른 데이터 통합 방법은 점점 증가하는 변경 데이터 또는 실시간 데이터 스트림을 통합하는 데 사용됩니다.

과거에는 조직이 자체 ETL 코드를 작성했습니다. 이제 다양한 오픈 소스 및 상용 ETL 도구와 클라우드 서비스 중에서 선택할 수 있습니다. 이러한 제품의 일반적인 기능은 다음과 같습니다.

• 포괄적인 자동화 및 사용 편의성: 선도적인 ETL 도구는 데이터 소스에서 대상 데이터 웨어하우스에 이르는 전체 데이터 흐름을 자동화합니다. 많은 도구가 데이터를 추출, 변환 및 로드하기 위한 규칙을 권장합니다.
• 시각적인 드래그 앤 드롭 인터페이스: 이 기능은 규칙 및 데이터 흐름을 지정하는 데 사용할 수 있습니다.
• 복잡한 데이터 관리 지원: 여기에는 복잡한 계산, 데이터 통합 및 문자열 조작에 대한 지원이 포함됩니다.
• 보안 및 규정 준수: 최고의 ETL 도구는 이동 데이터와 미사용 데이터를 모두 암호화하며 HIPAA 및 GDPR과 같은 업계 또는 정부 규정을 준수하는 것으로 인증되었습니다.

또한 많은 ETL 도구가 ELT 기능을 포함하고 인공 지능(AI) 애플리케이션을 위한 실시간 및 스트리밍 데이터의 통합을 지원하도록 발전했습니다.

통합의 미래 - EAI를 이용한 API

워크플로우 통합을 포함하는 보다 유연하고 확장 가능한 솔루션을 위해 ETL 대신 EAI(엔터프라이즈 애플리케이션 통합)를 이용하는 API(애플리케이션 프로그래밍 인터페이스)를 사용할 수 있습니다. ETL은 여전히 주요 데이터 통합 리소스이지만 웹 기반 설정에서 API와 함께 EAI가 점점 더 많이 사용되고 있습니다.