데이터 수집이란 무엇인가요?

데이터 소스에는 금융 시스템, 타사 데이터 공급자, 소셜 미디어 플랫폼, IoT 디바이스, SaaS 앱, 전사적 자원 관리(ERP) 및 고객 관계 관리(CRM)와 같은 온프레미스 비즈니스 애플리케이션이 포함됩니다.

이러한 소스에는 정형 및 비정형 데이터뿐만 아니라 반정형 데이터도 포함되어 있습니다. 데이터가 수집되면 데이터 레이크, 데이터 웨어하우스, 데이터 레이크하우스, 데이터 마트, 관계형 데이터베이스 및 기타 다운스트림 애플리케이션으로 전달할 수 있습니다.

많은 데이터 수집 툴이 이 프로세스를 자동화하여 여러 소스에서 원시 데이터를 수집하고 이동합니다. 아키텍처에 따라 수집 파이프라인은 데이터가 이동하는 과정에서 데이터를 검증, 필터링, 포맷 지정 또는 변환하여 데이터 분석 소프트웨어 및 기타 비즈니스 애플리케이션에서 사용할 수 있도록 준비할 수도 있습니다.

데이터 수집에는 일반적으로 데이터 사이언스, 데이터 엔지니어링 및 소프트웨어 개발 전문 지식이 필요한 복잡한 파이프라인이 사용될 수 있습니다. 데이터 라이프사이클을 효과적으로 관리하기 위해 추출, 변환 및 로드(ETL) 프로세스 또는 추출, 로드 및 변환(ELT) 프로세스를 사용하여 데이터를 정제하고 일관된 형식으로 변환할 수 있습니다.

데이터 수집은 오늘날 기업이 수집하는 방대한 데이터를 처리하고 여기에서 가치를 창출하기 위한 첫 번째 단계입니다. 체계적으로 계획된 데이터 수집 프로세스는 시스템 간에 이동하는 데이터의 정확성, 일관성 및 신뢰성을 유지하여 데이터 분석, AI 애플리케이션, 운영 워크플로 및 기타 비즈니스 프로세스를 지원합니다. 데이터 수집이 필수적인 세 가지 주요 이유는 다음과 같습니다.

데이터 수집은 다양한 소스에서 원시 데이터를 가져와 분석에 사용할 수 있도록 준비하는 프로세스입니다. 구체적인 단계는 데이터 소스, 대상 및 수집 방식에 따라 달라집니다. 간단한 수집 파이프라인은 데이터를 거의 또는 전혀 변환하지 않고 수집하여 전달할 수 있지만, 더 복잡한 파이프라인은 그 과정에서 데이터를 검색, 검증, 필터링, 변환 또는 보강할 수도 있습니다. 일반적인 파이프라인 단계는 다음과 같습니다.

조직 전반에서 사용 가능한 데이터를 파악하는 탐색 단계입니다. 데이터 환경, 구조, 품질 및 잠재적인 활용 방식을 파악하면 성공적인 데이터 수집을 위한 기반을 마련할 수 있습니다.

데이터 소스를 파악한 후에는 데이터 획득 단계에서 데이터를 수집합니다. 이 단계에서는 다양한 소스에서 데이터를 가져올 수 있습니다. 이러한 소스에는 MySQL과 같은 정형 데이터베이스, 애플리케이션 프로그래밍 인터페이스(API), CSV 및 JSON과 같은 파일 형식, 이미지 및 종이 문서와 같은 비정형 소스가 포함됩니다. 다양한 데이터 형식과 잠재적으로 방대한 양의 데이터를 처리하는 동시에 획득 프로세스 전반에서 데이터 무결성을 보호해야 한다는 점에서 복잡성이 발생합니다.

데이터를 획득한 후에는 검증을 통해 오류를 식별하고 정해진 규칙에 부합하는지 확인합니다. 데이터에 오류, 불일치 및 누락된 값이 있는지 확인합니다. 데이터 유형 검증, 범위 검증, 고유성 검증 등 다양한 검사를 통해 데이터를 정리하여 신뢰성을 높이고 추가 처리에 사용할 수 있도록 준비합니다.

이 단계에서는 검증된 데이터를 분석에 적합한 형식으로 변환합니다. 여기에는 정규화(중복 제거), 집계(데이터 요약), 표준화(일관된 형식 적용)가 포함될 수 있습니다. 목표는 데이터를 더 쉽게 이해하고 분석할 수 있도록 만드는 것입니다.

마지막 단계에서는 변환된 데이터를 데이터 웨어하우스나 데이터 레이크와 같은 지정된 위치에 저장하여 분석 및 보고에 바로 사용할 수 있도록 합니다. 이 로드 프로세스는 구체적인 요구 사항에 따라 배치 또는 실시간으로 수행할 수 있습니다. 데이터 로드가 완료되면 데이터 수집 파이프라인이 마무리되며, 데이터는 정보에 기반한 의사결정과 가치 있는 비즈니스 인텔리전스 생성에 활용할 수 있는 상태가 됩니다.

오류, 불일치, 불완전한 레코드 및 기타 문제가 결과에 영향을 미칠 수 있으므로 데이터 수집에서 데이터 품질은 중요합니다. 조직은 데이터 수집 프로세스의 일환으로 형식을 표준화하고, 부정확한 데이터를 제거하고, 누락되거나 중복된 값을 처리하고, 기타 데이터 품질 문제를 해결하여 데이터를 정제하는 경우가 많습니다. 

데이터 거버넌스는 데이터 처리에 관한 정책과 표준을 수립하여 수집 과정에서 데이터 품질을 유지하는 데 도움이 될 수 있습니다. 명확하게 정의된 역할과 책임을 통해 책임 체계를 확립합니다. 또한 문제를 추적하고 해결하기 위한 지표와 모니터링 시스템을 구현하고, GDPR 또는 HIPAA와 같은 규정에 대한 컴플라이언스를 지원하며, 데이터 정의와 형식을 표준화하여 일관성을 높일 수도 있습니다.

데이터 수집의 이점 중 하나는 서로 다른 소스의 데이터를 조직 전반에서 더욱 쉽게 액세스하고 활용할 수 있도록 한다는 것입니다. 그 밖의 이점은 다음과 같습니다.

데이터 수집 툴은 다양한 형식과 구조를 가진 여러 소스에서 데이터를 수집하고 이동하는 복잡한 작업을 간소화할 수 있습니다. 일부 플랫폼은 파이프라인의 일부로 데이터를 검증, 변환 또는 표준화할 수도 있습니다.

효과적인 저지연 시간 데이터 수집 파이프라인은 실시간 수집을 비롯하여 대량의 데이터를 빠른 속도로 처리할 수 있습니다. 이를 통해 조직은 빠르게 변화하는 정보를 처리하고 이에 대응할 수 있습니다.

기업은 데이터 수집을 통해 데이터 수집 및 정제를 자동화함으로써 기존의 수동 데이터 집계 프로세스에 필요한 시간과 리소스를 줄일 수 있습니다. 또한 서비스형 데이터 수집 솔루션은 초기 인프라 투자의 필요성을 없애 추가적인 비용 절감 효과를 제공할 수 있습니다.

잘 설계된 데이터 수집 프로세스는 데이터 양, 소스 및 비즈니스 요구 사항이 증가함에 따라 기업이 확장할 수 있도록 지원합니다. 확장성을 통해 조직은 데이터 환경이 변화하는 상황에서도 데이터에 계속 효과적으로 액세스하고 분석하면서 새로운 워크로드와 활용 사례를 지원할 수 있습니다.

많은 최신 데이터 수집 툴은 클라우드, 온프레미스 및 하이브리드 환경 전반에서 작동하도록 설계되어 조직이 필요한 위치로 데이터를 이동하고 통합할 수 있도록 지원합니다. 클라우드 기반 데이터 수집 서비스는 인프라 관리 부담을 줄이고 데이터 양이 증가함에 따라 더 쉽게 확장할 수 있도록 하며, 분산된 시스템과 팀 전반에서 데이터에 액세스할 수 있도록 지원합니다.

데이터 수집에는 다양한 소스의 데이터를 지정된 시스템으로 가져오는 여러 가지 방법이 포함됩니다.

이 수집 방식은 일정 기간 동안 데이터(일일 판매 보고서, 월간 재무제표)를 축적한 후 전체 데이터를 한꺼번에 처리합니다. 배치 처리는 사용량이 적은 시간대에 실행하도록 예약할 수 있어 간편하고 안정적이며 시스템 성능에 미치는 영향이 적다는 장점이 있습니다. 하지만 실시간 애플리케이션에는 적합하지 않습니다.

이 방식은 데이터가 생성되는 즉시 수집하여 지연을 최소화하면서 처리 및 분석에 사용할 수 있도록 합니다. 실시간 데이터 수집은 더 빠른 의사결정을 지원하며, 변화하는 상황에 신속하게 대응하는 것이 매우 중요한 사기 탐지 또는 주식 거래 플랫폼과 같은 시간에 민감한 애플리케이션에 적합합니다.

CDC는 소스 시스템에서 데이터에 적용된 삽입, 업데이트 및 삭제와 같은 변경 사항을 식별하고 캡처하는 데이터 수집 방식입니다. 그런 다음 이러한 변경 사항을 다운스트림 시스템에 전달합니다. CDC는 전체 데이터세트가 아닌 증분 변경 사항만 전송하므로 데이터 이동량을 줄이고, 주기적으로 전체 데이터를 로드하는 방식보다 효율적으로 준실시간 데이터 가용성을 지원할 수 있습니다.

스트리밍 수집과 스트림 처리는 밀접하게 관련된 개념입니다. 스트리밍 수집은 데이터가 생성되는 즉시 지속적으로 캡처하여 전달합니다. 스트림 처리는 데이터가 들어오는 즉시 지속적으로 분석합니다. 실시간 처리와 스트림 처리 모두 상당한 컴퓨팅 성능과 네트워크 대역폭 리소스가 필요할 수 있습니다.

API 기반 수집은 애플리케이션 프로그래밍 인터페이스(API)를 통해 애플리케이션, 서비스 및 플랫폼에서 데이터를 수집합니다. 이 방식은 일반적으로 클라우드 애플리케이션, SaaS 플랫폼, 소셜 미디어 서비스 및 비즈니스 시스템에서 데이터를 수집하는 데 사용됩니다. API 기반 수집을 사용하면 필요할 때 최신 데이터에 액세스할 수 있지만, 요청 한도, 인증 요구 사항 및 API 가용성과 같은 요인이 데이터 수집 성능과 안정성에 영향을 미칠 수 있습니다.

마이크로배칭 방식은 일괄 처리와 실시간 처리 사이에서 균형을 유지합니다. 소규모 일괄 작업을 자주 처리해 데이터를 수집함으로써 완전한 실시간 처리의 리소스 제약 없이 실시간에 가까운 업데이트를 얻을 수 있습니다. 데이터 최신성과 시스템 성능 간의 균형을 최적화하려면 신중한 계획과 관리가 필요합니다.

Lambda 아키텍처는 배치 처리 계층과 실시간 처리 계층을 별도로 사용하는 데이터 처리 아키텍처입니다. 배치 계층은 전체 과거 데이터세트를 처리하고, 스트리밍 계층은 새로 생성되는 데이터를 들어오는 즉시 처리합니다. 서빙 계층은 두 계층의 결과물을 결합하여 과거 데이터와 현재 데이터를 통합된 뷰로 제공합니다.

데이터 수집 툴은 다양한 요구 사항과 기술 전문성 수준에 맞는 여러 솔루션을 제공합니다.

오픈 소스 툴: 소프트웨어의 소스 코드에 무료로 액세스할 수 있어 사용자가 툴을 완전히 제어하고 필요에 맞게 사용자 지정할 수 있는 툴입니다. 예를 들어 Apache Kafka는 스트리밍 데이터 수집 및 통합에 널리 사용되는 오픈 소스 플랫폼입니다.

독점 도구: 소프트웨어 공급업체가 개발하고 라이선스를 부여하는 솔루션으로, 사전 구축된 기능과 다양한 요금제를 제공하지만 공급업체 종속성 및 지속적인 라이선스 비용이 발생할 수 있습니다.

클라우드 기반 툴: 클라우드 서비스로 제공되는 데이터 수집 툴로, 배포와 유지보수를 간소화하는 동시에 초기 인프라 투자 없이 확장성을 제공합니다. AWS Glue 및 Amazon Kinesis와 같은 관리형 서비스와 Snowflake와 같은 클라우드 데이터 플랫폼이 대표적인 예로, 대규모 데이터 수집, 처리 및 관리 기능을 제공합니다.

온프레미스 도구: 이 도구는 로컬 또는 프라이빗 클라우드 네트워크에 설치 및 관리되므로 데이터 보안을 더 효과적으로 제어할 수 있지만, 하드웨어 및 지속적인 IT 지원에 대한 투자가 필요합니다.

요구 사항과 전문 지식 간의 균형을 맞추기 위해 데이터 수집 파이프라인을 구축하기 위한 접근 방식을 몇 가지 알아보겠습니다.

수동 코딩된 파이프라인: 이 맞춤형 파이프라인은 최고 수준의 제어 기능을 제공하지만 상당한 개발 전문 지식이 필요합니다.

사전 구축된 커넥터 및 변환 툴: 사전 구성된 커넥터와 변환 기능을 사용하여 데이터 파이프라인을 손쉽게 구축할 수 있는 방식입니다. 예를 들어 IBM® Confluent는 조직이 데이터 수집 및 스트리밍 파이프라인을 구축하고 관리할 수 있도록 지원하는 툴과 관리형 서비스를 제공합니다.

데이터 통합 플랫폼: 이러한 플랫폼은 데이터 수집, 변환, 오케스트레이션 및 이동과 같은 작업을 위한 통합 환경을 제공하지만, 설정 및 유지보수에 개발 전문 지식이 필요할 수 있습니다.

데이터 수집은 데이터 파이프라인의 기반이 되는 프로세스이지만 여러 복잡성이 따릅니다. 일반적인 여섯 가지 과제는 다음과 같습니다. 

데이터 보안: 데이터 노출이 증가하면 민감한 데이터의 보안 침해 위험도 높아집니다. 데이터 보안 규정을 준수하면 복잡성과 비용이 증가합니다.

규모 및 다양성: 지속적으로 증가하는 데이터의 양, 속도 및 다양성으로 인해 성능 병목 현상이 발생할 수 있습니다.

데이터 수집의 무분별한 확산 및 비용 관리: 데이터 흐름의 변동과 수집 워크로드의 증가는 인프라 요구 사항과 운영 비용에 영향을 미칠 수 있으므로 비용 모니터링과 최적화를 중요하게 고려해야 합니다.

데이터 파편화: 여러 애플리케이션, 데이터베이스, 플랫폼 및 기타 소스에 분산된 데이터는 통합된 뷰를 구축하기 어렵게 만들 수 있습니다. 파편화된 데이터는 불일치, 중복 레코드 및 데이터 통합과 분석의 어려움을 초래할 수 있습니다.

스키마 드리프트: 필드 추가, 제거 또는 수정과 같은 소스 데이터 구조의 변화로 인해 소스 시스템과 대상 시스템 간에 불일치가 발생할 수 있습니다. 이러한 변경 사항에 맞게 수집 파이프라인을 업데이트하지 않으면 스키마 드리프트로 인해 워크플로가 중단되고 다른 문제가 발생할 수 있습니다.

데이터 품질 보증: 데이터 수집 프로세스의 복잡한 특성으로 인해 데이터 신뢰성이 저하될 수 있습니다.

데이터 수집, 추출, 변환, 로드(ETL), 추출, 로드, 변환 (ELT)은 데이터를 사용 가능한 상태로 만든다는 공통된 목표를 가지고 있지만 접근 방식에는 차이가 있습니다.

데이터 수집은 소스 시스템에서 데이터를 수집하여 대상 환경에서 저장, 처리 또는 사용할 수 있도록 하는 광범위한 프로세스를 의미합니다. ETL과 ELT는 이 프로세스의 일부로 데이터를 언제, 어떻게 변환할지를 정의하는 구체적인 접근 방식입니다.

추출, 변환 및 로드는 소스 시스템에서 데이터를 추출하고 대상 시스템의 요구 사항에 맞게 변환한 다음 대상 위치에 로드하는 프로세스입니다.

추출, 로드 및 변환(ELT)은 소스 시스템에서 데이터를 추출하여 대상 시스템에 로드한 후 변환하는 접근 방식입니다. 원시 데이터는 대상 환경에 저장되며 필요에 따라 변환됩니다.

데이터 수집과 데이터 통합은 데이터 파이프라인 내에서 서로 다른 용도로 사용됩니다.

데이터 수집은 더 광범위한 데이터 통합 프로세스의 한 구성 요소인 경우가 많습니다. 하나 이상의 소스에서 가져온 데이터가 유입되는 진입점 역할을 합니다. 주요 목표는 데이터를 효율적으로 획득하고 전달하는 것이지만, 수집 과정에 검증, 필터링, 형식 지정 또는 품질 검사와 같은 작업이 포함될 수도 있습니다.

여러 소스의 데이터를 결합하고 조율하여 통합되고 일관된 형식으로 만드는 작업입니다. 데이터 통합에는 전체 데이터세트의 일관성과 정확성을 보장하기 위한 데이터 정제, 표준화 및 보강 작업이 포함될 수 있습니다.

조직에서 생성하고 사용하는 데이터가 증가함에 따라 데이터 수집은 정보에 액세스하고 이를 활용할 수 있도록 하는 데 중요한 역할을 합니다. 일반적인 활용 사례는 다음과 같습니다.

조직은 데이터 수집을 통해 데이터베이스, 애플리케이션, API, 파일 및 연결된 디바이스에서 데이터를 수집하여 클라우드 데이터 레이크, 데이터 웨어하우스 및 데이터 레이크하우스에서 사용할 수 있도록 합니다. 조직은 여러 소스의 정보를 통합하여 운영 현황, 고객 및 비즈니스 성과를 더욱 종합적으로 파악할 수 있습니다.

예를 들어 소매업체는 수요 예측을 개선하기 위해 POS, 전자상거래 및 재고 데이터를 수집할 수 있으며, 의료 기관은 의료 서비스 제공 및 운영 계획을 지원하기 위해 임상, 검사실 및 환자 모니터링 데이터를 결합할 수 있습니다.

조직이 데이터 인프라를 현대화함에 따라 데이터 수집은 레거시 시스템, 온프레미스 데이터베이스 및 데이터 웨어하우스의 데이터를 클라우드 환경으로 이동하는 데 핵심적인 역할을 합니다. 데이터 수집 툴은 대규모 마이그레이션을 자동화하고 전환 과정에서 시스템 간 데이터를 동기화할 수 있습니다.

많은 플랫폼이 변경 데이터 캡처(CDC)를 지원하므로 조직은 전체 데이터를 다시 로드하지 않고도 소스 시스템의 업데이트를 지속적으로 복제하여 클라우드 기반 환경을 최신 상태로 유지할 수 있습니다. 이러한 접근 방식은 대량의 레거시 데이터를 보유한 금융 기관, 정부 기관 및 기타 조직이 비즈니스 운영 중단을 최소화하면서 분석 환경을 현대화하는 데 도움이 될 수 있습니다.

많은 조직이 실시간 분석과 이벤트 기반 애플리케이션을 지원하기 위해 데이터 수집을 활용합니다. 데이터 수집 툴은 웹사이트 클릭스트림, 애플리케이션 로그, 소셜 미디어 피드 및 IoT 센서와 같은 소스에서 데이터를 지속적으로 수집하고 스트리밍할 수 있습니다.

조직은 이벤트가 발생하는 즉시 이 정보를 사용할 수 있도록 하여 운영을 모니터링하고 새롭게 발생하는 문제를 감지하며 변화하는 상황에 더 빠르게 대응할 수 있습니다. 예를 들어 통신 서비스 공급자는 스트리밍 데이터를 사용하여 네트워크 성능과 서비스 품질을 모니터링할 수 있습니다. 한편 제조업체는 장비 텔레메트리를 분석하여 생산 병목 현상과 잠재적인 유지보수 문제를 다운타임이 발생하기 전에 파악할 수 있습니다.

조직은 데이터 수집을 통해 데이터 관측 가능성 플랫폼에서 데이터를 사용할 수 있도록 하여 팀이 시스템 전반에서 데이터의 신뢰성, 최신성, 완전성 및 일관성을 평가하도록 지원할 수 있습니다.

의료 기업과 기타 엔터프라이즈는 운영 데이터베이스, 실시간 스트리밍 플랫폼 및 기타 소스에서 데이터를 지속적으로 수집하여 이상 징후를 식별하고, 스키마 변경을 감지하고, 파이프라인 전반에서 데이터 이동을 추적하기 위한 기반을 구축할 수 있습니다. 이러한 방식은 분석, 보고 및 AI 애플리케이션에 사용되는 데이터에 대한 신뢰를 높이는 데도 도움이 될 수 있습니다.

AI 및 머신 러닝 시스템은 대량의 데이터에 적시에 액세스할 수 있어야 합니다. 데이터 수집은 조직이 여러 소스의 데이터를 수집, 통합 및 준비하여 모델 훈련, 추론 및 모니터링에 사용할 수 있도록 지원합니다. 또한 생성형 AI 애플리케이션, 검색 증강 생성(RAG) 시스템 및 AI 에이전트를 지원합니다.

예를 들어 은행은 사기 탐지 모델과 AI 기반 고객 서비스 애플리케이션을 지원하기 위해 트랜잭션 및 계정 활동 데이터를 수집할 수 있습니다. 의료 및 생명과학 기관은 예측 분석을 지원하기 위해 임상 및 연구 데이터를 결합하거나 이미지 데이터를 사용하여 AI 지원 의사결정을 개선할 수 있습니다. RAG 시스템과 AI 에이전트를 배포하는 조직은 데이터 수집을 통해 문서, 지식 베이스 및 운영 기록을 지속적으로 제공하여 관련 컨텍스트를 검색하고 최신 정보를 바탕으로 조치를 취할 수 있도록 지원할 수 있습니다.

기업은 데이터 수집을 통해 웹사이트, 모바일 애플리케이션, CRM 시스템, 마케팅 플랫폼 및 고객 지원 채널에서 고객 정보를 수집하여 분석에 사용할 수 있도록 합니다. 이러한 데이터 소스를 결합하면 고객의 행동과 선호도를 더욱 종합적으로 파악할 수 있습니다. 기업은 이를 통해 얻은 인사이트를 활용하여 고객 경험을 개인화하고, 고객 서비스를 개선하고, 마케팅 캠페인을 최적화하고, 영업 조직을 지원하며, 성장 기회를 파악할 수 있습니다.

데이터 수집은 여러 운영 시스템의 데이터를 분석에 사용할 수 있도록 하고 데이터 가용성을 높여 비즈니스 인텔리전스(BI) 및 보고를 지원합니다. 조직은 수집된 데이터를 사용하여 대시보드를 만들고, 핵심성과지표(KPI)를 추적하고, 추세를 파악하며, 데이터 기반 의사결정을 지원할 수 있습니다.

영업 성과를 모니터링하거나 공급망 효율성을 측정하거나 재무 성과를 추적하는 경우 모두 조직은 보고서와 분석에 현재 비즈니스 상황이 정확하게 반영되도록 신뢰할 수 있는 데이터 수집 파이프라인을 활용합니다.