홈
topics
ETL(Extract, Transform, Load)이란?
1970년대에 데이터베이스의 인기가 높아지면서 계산 및 분석을 위해 데이터를 통합하고 로드하는 프로세스로 ETL이 도입되었으며 결국 데이터 웨어하우징 프로젝트에서 데이터를 처리하는 주요 방법이 되었습니다.
ETL은 데이터 분석 및 머신 러닝 워크스트림을 위한 기반을 제공합니다. ETL은 비즈니스 규칙을 통해 월별 보고와 같은 특정 비즈니스 인텔리전스 요구 사항을 해결하는 방식으로 데이터를 정리하고 구성할 뿐만 아니라 백엔드 프로세스 또는 최종 사용자 경험을 개선할 수 있는 보다 고급 분석 작업도 처리할 수 있습니다. ETL은 조직에서 다음과 같은 목적으로 자주 사용됩니다.
데이터 분석을 위한 오픈 소스 SQL 엔진인 Presto를 시작하는 방법에 대해서는 무료 O'Reilly eBook을 살펴보세요.
ETL과 ELT의 가장 분명한 차이점은 작업 순서의 차이입니다. ELT는 소스 위치에서 데이터를 복사하거나 내보내지만 변환을 위해 스테이징 영역에 로드하는 대신 원시 데이터를 대상 데이터 저장소에 직접 로드하여 필요에 따라 변환합니다.
두 프로세스 모두 데이터베이스, 데이터 웨어하우스 및 데이터 레이크와 같은 다양한 데이터 저장소를 활용하지만 각 프로세스에는 장점과 단점이 있습니다. ELT는 소스에서 직접 로드가 발생할 수 있으므로 대용량의 비정형 데이터 세트에 특히 유용합니다. ELT는 데이터 추출 및 저장을 위한 사전 계획이 많이 필요하지 않기 때문에 빅 데이터 관리에 더 이상적일 수 있습니다.
반면에 ETL 프로세스는 시작 시 더 많은 정의가 필요합니다. 서로 다른 소스 시스템에서 통합할 수 있는 잠재적인 '키'와 함께 추출을 위해 특정 데이터 포인트를 식별해야 합니다. 이 작업이 완료된 후에도 데이터 변환에 대한 비즈니스 규칙을 구성해야 합니다. 이 작업은 일반적으로 특정 유형의 데이터 분석에 대한 데이터 요구 사항에 종속될 수 있으며 이에 따라 데이터에 필요한 요약 수준이 결정됩니다.
ELT는 클라우드 데이터베이스의 도입과 함께 점점 더 대중화되고 있지만 새로운 프로세스인 만큼 아직 모범 사례가 확립되고 있다는 단점도 있습니다.
ETL의 작동 방식을 이해하는 가장 쉬운 방법은 프로세스의 각 단계에서 어떤 일이 발생하는지 이해하는 것입니다.
데이터를 추출하는 동안 원시 데이터는 소스 위치에서 스테이징 영역으로 복사되거나 내보내집니다. 데이터 관리 팀은 다양한 데이터 소스에서 데이터를 추출할 수 있으며 이는 정형 또는 비정형일 수 있습니다. 이러한 소스에는 다음이 포함되지만 이에 국한되지는 않습니다.
스테이징 영역에서 원시 데이터는 데이터 처리를 거칩니다. 여기서 데이터는 의도한 분석 사용 사례에 맞게 변환 및 통합됩니다. 이 단계에는 다음 작업이 포함될 수 있습니다.
마지막 단계인 로드에서는 변환된 데이터를 스테이징 영역에서 대상 데이터 웨어하우스로 이동합니다. 일반적으로 모든 데이터를 처음 로드한 다음 증분 데이터 변경 사항을 주기적으로 로드합니다. 드물게는 웨어하우스에서 데이터를 삭제하고 교체하는 전체 새로 고침을 수행하는 작업이 포함됩니다. ETL을 사용하는 대부분의 조직에서는 프로세스가 자동화되고 잘 정의되어 있으며 지속적이고 배치 중심적입니다. 일반적으로 ETL은 소스 시스템과 데이터 웨어하우스의 트래픽이 가장 적은 근무 외 시간에 이루어집니다.
ETL과 ELT는 두 가지 데이터 통합 방법에 불과하며 데이터 통합 워크플로를 촉진하는 다른 접근 방식도 사용됩니다. 여기에는 다음이 포함됩니다.
ETL 솔루션은 데이터를 기타 저장소에 로드하기 전에 데이터 정제를 수행하여 품질을 개선합니다. 시간이 많이 소요되는 배치 작업인 ETL은 업데이트 빈도가 낮은 소규모의 대상 데이터 저장소 생성에 자주 권장됩니다. 반면 ELT(추출, 로드, 변환), 변경 데이터 캡처(CDC) 및 데이터 가상화를 비롯한 다른 데이터 통합 방법은 점점 증가하는 변경 데이터 또는 실시간 데이터 스트림을 통합하는 데 사용됩니다.
과거에는 조직이 자체 ETL 코드를 작성했습니다. 이제 다양한 오픈 소스 및 상용 ETL 도구와 클라우드 서비스 중에서 선택할 수 있습니다. 이러한 제품의 일반적인 기능은 다음과 같습니다.
또한 많은 ETL 도구가 ELT 기능을 포함하고 인공 지능(AI) 애플리케이션을 위한 실시간 및 스트리밍 데이터의 통합을 지원하도록 발전했습니다.
워크플로우 통합을 포함하는 보다 유연하고 확장 가능한 솔루션을 위해 ETL 대신 EAI(엔터프라이즈 애플리케이션 통합)를 이용하는 API(애플리케이션 프로그래밍 인터페이스)를 사용할 수 있습니다. ETL은 여전히 주요 데이터 통합 리소스이지만 웹 기반 설정에서 API와 함께 EAI가 점점 더 많이 사용되고 있습니다.
IBM Cloud Pak for Data는 모든 클라우드에서 AI 및 분석에 모든 데이터를 사용할 수 있도록 데이터 패브릭을 제공하는 확장 가능한 개방형 데이터 플랫폼입니다.
AI는 새로운 방식으로 데이터의 가치를 실현하고 있습니다. DataOps 솔루션으로 AI 및 멀티클라우드 환경에 대비할 수 있도록 데이터를 구성하세요.
데이터 통합을 통해 정형 및 비정형 데이터를 변환하여 확장 가능한 빅 데이터 플랫폼의 모든 시스템에 제공할 수 있습니다.