데이터 변환이란 무엇인가요?

전문가가 수동으로 데이터 변환을 수행할 수 있지만, 최신 엔터프라이즈 애플리케이션을 구동하는 데 필요한 방대한 양의 데이터는 일반적으로 어느 정도의 자동화가 필요합니다. 데이터 변환 프로세스를 통해 배포되는 툴과 기술은 단순할 수도 있고 복잡할 수도 있습니다.

예를 들어 데이터 변환은 날짜 필드(예: MM/DD/YY)를 다른 필드로 변환하거나 단일 Excel 열을 두 개로 분할하는 것처럼 간단할 수 있습니다. 그러나 여러 개의 서로 다른 소스의 데이터를 정리하고 표준화하며 여러 워크플로로 구성되어 있는 복잡한 데이터 변환에는 고급 데이터 과학 기술이 필요할 수 있습니다.

이러한 고급 데이터 엔지니어링 기능에는 데이터 포인트 간의 관계를 정의하는 데이터 정규화와 타사 데이터 세트로 기존 정보를 보완하는 데이터 보강이 포함됩니다.

오늘날의 디지털 우선 글로벌 경제에서 데이터 변환은 조직이 다양한 소스의 대량 데이터를 활용해 서비스를 개선하고,머신 러닝 모델을 학습시키고, 빅데이터 분석을 배포하도록 도와줍니다.

데이터 변환은 데이터 세트를 표준화하고 후속 처리를 위해 준비함으로써 몇 가지 중요한 엔터프라이즈 데이터 관행을 가능하게 합니다. 비즈니스 세계에서 데이터를 변환하는 일반적인 이유는 다음과 같습니다.

데이터 변환은 일반적으로 원시 형식에서 사용 가능하고 가치 있는 데이터를 생성하기 위해 구조화된 프로세스를 따릅니다. 데이터 변환 프로세스의 일반적인 단계는 다음과 같습니다.

디스커버리 프로세스가 진행되는 도중에는 소스 데이터가 수집됩니다. 이 프로세스에는 API, SQL Database 또는 서로 다른 형식의 내부 파일에서 원시 데이터를 스크랩하는 것이 포함될 수 있습니다. 데이터 전문가는 이러한 정보를 식별하고 추출할 때 수집된 정보가 포괄적이고 최종 활용과 관련성이 있는지 확인합니다. 또한, 엔지니어는 디스커버리 과정에서 데이터 프로파일링이라는 프로세스를 통해 데이터의 특성과 구조를 이해하기 시작합니다.

데이터 준비와 정리를 위해서는 원시 데이터의 오류, 불일치, 부정확성을 식별하고 수정해야 합니다. 이 단계는 중복과 이상값을 제거하거나 누락된 값을 처리해 데이터 품질과 신뢰성을 보장합니다.

데이터 매핑에는 변환 프로세스를 안내하는 스키마 또는 매핑 프로세스를 만드는 작업이 포함됩니다. 이 프로세스를 진행하는 도중 데이터 엔지니어는 소스 시스템의 요소가 대상 형식의 특정 요소에 어떻게 부합하는지 정의합니다.

이 단계에서 조직은 제삼자 도구를 사용하거나 내부적으로 코드를 생성해 데이터를 변환할 코드를 만듭니다.

이 단계에서는 원시 데이터에 코드가 적용되면서 실제 변환이 이루어집니다. 변환된 데이터는 추가 분석이나 처리를 위해 대상 시스템에 로드됩니다. 그다음, 변환된 데이터와 데이터 모델의 유효성을 검사해 일관성과 정확성을 보장합니다.

검토 프로세스를 진행하는 도중 데이터 분석가, 엔지니어 또는 최종 사용자는 출력 데이터를 검토해 요구 사항을 충족하는지 확인합니다.

ETL(추출, 변환, 로드)과 ELT(추출, 로드, 변환)는 약간 다른 데이터 파이프라인 기술을 사용하는 대표적인 데이터 변환 프로세스입니다. 각 프로세스는 변환의 규모와 복잡성에 따라 장단점이 있습니다.

ETL 프로세스에서는 미리 결정된 정형 데이터의 하위 집합이 소스에서 추출되어 대상 시스템에 로드되기 전에 스테이징 영역 또는 보조 처리 서버에서 변환됩니다. ETL은 온프레미스 스토리지와 소규모 데이터 세트에 더 적합합니다. 하지만 ETL은 보다 엄격한 데이터 정리 및 검증 단계를 도입할 수 있는 특성 때문에 특정 데이터 품질과 일관성 요구 사항이 있는 시나리오에서 선호될 수 있습니다. ETL은 마이그레이션 중에 HIPAA로 보호되는 정보와 같은 민감한 데이터를 보호하기 위해 필요할 수도 있습니다.

ELT 프로세스에서는 정보가 데이터 소스에서 추출되어 클라우드 기반 대상 시스템에 로드되고, 여기서 변환됩니다. 이 접근 방식은 클라우드 컴퓨팅 성능을 활용하므로 일반적으로 더 빠른 처리와 더 민첩한 데이터 관리가 가능합니다. 이미지와 같은 비정형 데이터에도 사용할 수 있습니다. 클라우드 기반 컴퓨팅과 스토리지 성능의 이점을 통해 ELT 프로세스는 확장성이 더욱 향상됩니다.

데이터 과학자와 엔지니어는 데이터 변환 프로세스 전반에 걸쳐 몇 가지 고유한 기술을 사용합니다. 어떤 전술을 사용할지는 전적으로 프로젝트와 데이터의 용도에 따라 다르지만, 복잡한 프로세스의 일부로 여러 가지 방법을 병행하여 사용할 수 있습니다.

• 데이터 정리: 데이터 정리는 중복 레코드 제거와 같은 오류 및 불일치를 수정하여 데이터 품질을 향상시킵니다.

• 데이터 집계: 데이터 집계는 여러 레코드를 단일 값 또는 데이터 세트로 결합하여 데이터를 요약합니다.

• 데이터 정규화: 데이터 정규화는 데이터를 표준화하여 모든 값을 1에서 10까지의 숫자 값과 같은 공통된 척도나 형식으로 가져옵니다.

• 데이터 인코딩: 데이터 인코딩은 범주형 데이터를 숫자 형식으로 변환하여 분석하기 쉽게 만듭니다. 예를 들어, 데이터 인코딩은 각 데이터 범주에 고유 번호를 할당할 수 있습니다.

• 데이터 보강: 데이터 보강은 타사 인구 통계 데이터 또는 관련 메타데이터와 같은 외부 소스의 관련 정보를 추가하여 데이터를 향상시킵니다.

• 데이터 대체: 데이터 대체는 누락된 데이터를 그럴듯한 값으로 대체합니다. 예를 들어, 누락된 값을 중앙값이나 평균값으로 바꿀 수도 있습니다.

• 데이터 분할: 데이터 분할은 다양한 목적에 따라 데이터를 하위 집합으로 나눕니다. 예를 들어, 엔지니어는 데이터 세트를 분할해 하나는 머신 러닝 학습용으로, 다른 하나는 테스트용으로 사용할 수 있습니다.

• 데이터 이산화: 데이터 이산화에서 데이터는 비닝(binning)이라고도 불리는 프로세스를 거치며 이산화 버킷 또는 간격으로 변환됩니다. 예를 들어, 이산화는 의료 환경에서 환자 연령과 같은 데이터를 '유아' 또는 '성인'과 같은 범주로 변환하는 데 사용될 수 있습니다.

• 데이터 일반화: 데이터 일반화는 대규모 데이터 세트를 더 높은 수준 또는 요약 형식으로 추상화하여 세부 정보를 줄이고 데이터를 더 쉽게 이해할 수 있도록 합니다.

• 데이터 시각화: 데이터 시각화는 데이터를 그래픽으로 표시해 즉시 명확하지 않을 수 있는 패턴이나 인사이트를 보여줍니다.

사내 엔지니어만 배치하여 데이터 변환을 수행할 수 있지만, 많은 타사 서비스가 변환 및 마이그레이션 프로세스를 용이하게 하는 데 도움이 될 수 있습니다. 가장 일반적인 서비스는 다음과 같습니다.

• ETL, ELT 도구: Apache NiFi, Informatica 등의 도구는 플러그 앤 플레이 ETL 또는 ELT 프로세스를 용이하게 합니다.

• 데이터 통합 플랫폼: IBM Cloud Pak for Data와 같은 다양한 툴은 데이터 통합 및 실시간 처리를 지원합니다.

• 데이터 준비 툴: 이러한 툴은 데이터 변환 또는 마이그레이션 전에 데이터 정리 및 변환을 위해 특별히 설계되었습니다.

• 프로그래밍 언어: Python 및 R과 같은 프로그래밍 언어는 오픈 소스 판다와 같은 라이브러리를 갖추고 있어 강력한 데이터 변환 기능을 제공합니다.

데이터 변환은 데이터 처리에서 중요한 단계입니다. 이를 통해 조직의 분석, 보고, 의사 결정 및 저장 능력을 향상시킬 수 있습니다. 주요 이점은 다음과 같습니다.