데이터 최적화란 무엇인가요?

데이터 최적화는 기업 및 기타 조직이 효율적으로 데이터 저장, 처리 및 분석을 수행할 수 있도록 데이터 세트의 구조와 품질을 개선하는 과정입니다.

데이터 최적화는 다양한 데이터 관리 기법을 포괄합니다. 여기에는 데이터 정제, 저장, 변환 및 처리를 간소화하는 전략과 함께 쿼리 최적화를 위한 전략이 포함됩니다. 데이터를 효과적으로 최적화하면 조직은 보다 정보에 기반한 의사 결정을 내릴 수 있고, 비용 효율적인 비즈니스 운영을 구축하며, 확장 가능한 인공지능(AI) 이니셔티브를 지원할 수 있습니다.

기업들이 데이터 자산 최적화에 점점 더 집중함에 따라 데이터 최적화 프로세스를 개선하기 위해 AI 기반 솔루션을 도입하는 경우가 늘어나고 있습니다. 이러한 솔루션에는 AI 기반 데이터 정제 툴, 데이터 거버넌스 및 관측 가능성 소프트웨어, 하이브리드 클라우드 스토리지 솔루션, 그리고 데이터 레이크하우스 플랫폼이 포함됩니다.

고품질의 관련성 높은 데이터에 대한 접근은 신뢰할 수 있는 분석과 더 나은 의사 결정을 위해 항상 중요했지만, 현대 데이터 환경에서는 그 중요성이 더욱 커지고 있습니다. 그 이유는 세 가지입니다. 데이터 규모, 복잡성, 그리고 AI 관련 경쟁 압력입니다.

오늘날 조직은 인류 역사 대부분에서 이용 가능했던 수준보다 훨씬 더 큰 규모의 데이터를 다루고 있습니다. 2024년 전 세계 다양한 규모의 조직을 대상으로 한 한 연구에 따르면 약 3분의 2가 최소 1페타바이트 이상의 데이터를 관리하고 있는 것으로 나타났습니다.¹

그 데이터의 상당 부분은 빅데이터로, 데이터 세트는 정형 데이터, 반정형 데이터 및 비정형 데이터를 포함한 다양한 형식의 대규모 데이터입니다. 특히 비정형 데이터는 관계형 데이터베이스의 고정된 스키마에 쉽게 맞지 않기 때문에 일반적인 툴과 방법으로는 비정형 데이터 처리 및 분석을 수행하기 어렵습니다.

동시에 기업은 AI 준비 데이터를 활용해야 하는 압박을 받고 있으며, 이는 조직이 인공지능 학습 및 이니셔티브에 신뢰하고 활용할 수 있는 고품질의 접근 가능한 데이터입니다.

그러나 대부분의 기업은 아직 AI 준비 데이터를 갖추지 못했습니다. IBM 기업가치연구소(IBV)의 2024년 조사에 따르면 기술 리더의 29%만이 자사 데이터가 생성형 AI를 효율적으로 확장하기 위한 핵심 기준을 충족한다고 강하게 동의했습니다.²

대규모의 복잡한 데이터 세트에서 가치를 도출하는 동시에 AI 준비 상태를 확보하려면 적절한 툴, 인프라 및 데이터 관리 전략이 필요합니다. 그러나 기업은 무한한 컴퓨팅 및 스토리지 리소스를 확보할 수 없습니다. 기업은 가치를 창출하려는 노력과 효율성과 투자 대비 수익을 극대화하기 위한 조치를 균형 있게 추진해야 합니다.

데이터 최적화는 이러한 균형을 달성하는 데 도움을 줍니다.

데이터 최적화를 통해 조직은 데이터 워크플로의 성능과 효율성을 모두 향상시킬 수 있습니다. 다양한 데이터 최적화 기법은 데이터 품질과 접근성을 높이는 동시에 저장 및 처리로 인한 리소스와 비용 부담을 줄이는 데 도움을 줍니다.

데이터 최적화는 조직이 데이터 파이프라인과 예산과 관련된 과제를 해결하는 데 도움을 줄 수 있습니다. 데이터 최적화의 이점은 다음과 같습니다.

데이터 최적화 기법은 데이터 저장, 데이터 변환 및 데이터 활용과 같은 데이터 수명 주기의 주요 지점에서 데이터 워크로드의 사용성과 효율성을 향상시킵니다.

데이터 저장 최적화에는 데이터 테이블과 인덱스에 필요한 스토리지 공간을 줄이는 작업이 포함됩니다. 또한 데이터를 보다 효율적이고 비용 효율적으로 분산하기 위해 다양한 스토리지 옵션을 활용하는 전략도 포함됩니다.

• 스토리지 공간 감소: 스토리지 비용과 필요한 공간을 줄이기 위한 일반적인 방법은 압축입니다. 이 과정은 데이터를 인코딩 및 디코딩하는 알고리즘을 사용하여 저장에 필요한 비트 수를 줄입니다.

• 계층형 스토리지 사용: 계층형 스토리지에서는 데이터가 액세스 요구 사항에 따라 그룹화됩니다. 일반적으로 더 빠른 조회를 제공하는 고가의 스토리지 옵션은 자주 액세스되는 “핫 데이터”에 할당됩니다. 반면 “쿨 데이터” 또는 “콜드 데이터”(즉, 사용 빈도가 낮은 데이터)는 비용이 더 저렴하지만 데이터 액세스에 더 많은 시간이 필요한 스토리지 환경에 저장됩니다.

• 데이터 스토리지 아키텍처 선택: 스토리지 계층을 사용하는 것 외에도 조직은 속도, 비용 절감 및 기타 목표를 최적화하기 위해 하나 이상의 스토리지 방식을 선택할 수 있습니다. 세 가지 주요 스토리지 시스템 유형은 객체 스토리지, 파일 스토리지 및 블록 스토리지이며 각각 서로 다른 장점과 단점을 가지고 있습니다.

데이터 변환과 데이터 정제 프로세스가 성공적으로 수행되면 데이터 품질이 크게 향상됩니다.

데이터 변환은 원시 데이터를 통합된 형식과 구조로 변환하는 과정입니다. 데이터 변환의 첫 단계는 데이터 정제입니다. 데이터 정제 또는 데이터 스크러빙이라고도 하며, 데이터 세트에서 오류와 불일치를 식별하고 수정하는 과정입니다.

주요 데이터 정제 기법은 다음과 같습니다.

• 표준화: 동일한 데이터 세트 내에서 데이터가 서로 다른 구조와 형식으로 표현되면 이러한 불일치로 인해 활용이 어려워질 수 있습니다. 데이터 구조와 형식을 표준화하면 정확한 분석을 위해 일관성과 호환성을 확보할 수 있습니다.

• 데이터 중복 제거: 중복되거나 불필요한 데이터는 분석 결과를 왜곡할 수 있습니다. 데이터 중복 제거는 데이터 통합 문제, 수작업 입력 오류 또는 시스템 오류로 인해 생성된 중복 레코드를 제거합니다. 데이터 중복 제거는 데이터 품질을 향상시킬 뿐만 아니라 중복 레코드에 소모되는 컴퓨팅 및 스토리지를 줄여 비용과 리소스 활용도도 절감할 수 있습니다.

• 결측값 처리: 결측값 또한 데이터 분석을 왜곡할 수 있습니다. 이러한 문제를 해결하기 위해 데이터 전문가는 결측값을 추정값으로 대체하거나 불완전한 항목을 제거하는 방법을 사용합니다.

• 데이터 검증: 데이터 검증은 데이터가 정제되어 있고 정확하며 사용 준비가 되었는지 확인하는 과정입니다. 이는 일관성, 데이터 유형, 형식, 범위 및 고유성에 대한 검사를 포함하여 비즈니스 규칙과 데이터 검증 기준을 수립하고 적용하는 것을 의미합니다.

AI 모델 학습에서 낮은 데이터 품질 문제를 해결하기 위해 연구자들은 학습 데이터 세트의 품질을 개선하기 위한 추가적인 방법으로 데이터 증강과 합성 데이터 생성을 활용합니다.

메타데이터 관리는 메타데이터를 체계적으로 관리하고 활용하여 데이터의 접근성과 품질을 향상시키는 것입니다.

메타데이터의 예시는 다음과 같습니다.

• 기술 메타데이터: 제목과 키워드와 같은 기본 정보를 포함합니다. 이러한 유형의 메타데이터는 조직이 카탈로그, 소셜 미디어 플랫폼, 검색 엔진에서 데이터의 검색성과 탐색성을 향상시키는 데 도움이 됩니다.

• 관리 메타데이터: 소유권, 권한 및 보존 정책을 포함합니다. 이러한 메타데이터는 조직이 법적, 규제적, 내부 정책을 준수하는 데 도움이 됩니다.

• 보존 메타데이터: 데이터의 장기적인 활용성과 접근성을 보장합니다. 이 유형의 메타데이터는 특히 규정 준수를 위해 기록을 장기간 보관해야 하는 산업에서 데이터 보존 요구 사항을 충족하도록 지원합니다.

쿼리 최적화는 메모리와 CPU와 같은 리소스 사용을 최소화하면서 SQL 및 NoSQL 데이터베이스에서 쿼리(데이터 검색 및 조작)의 실행 속도를 향상시킵니다. 쿼리 최적화 기법은 데이터베이스 유형에 따라 다르지만 일반적으로 다음과 같은 방법이 포함됩니다.

• 필터링: 시스템이 쿼리와 관련 없는 데이터를 스캔하지 않도록 합니다.

• 인덱스 추가: 인덱스를 사용하면 정보를 사전에 정렬하여 보다 효율적인 검색이 가능해집니다.

• 캐싱: 반복되는 쿼리 결과를 캐싱하면 쿼리가 다시 실행될 때마다 새로운 계산을 수행할 필요가 줄어듭니다.

• 파티셔닝: 데이터베이스 설계 단계에서 데이터베이스를 더 작은 단위로 나누어 더 빠르고 목적에 맞는 쿼리를 수행할 수 있습니다.

적절한 목적에 맞는 쿼리 엔진을 선택하는 것도 쿼리 최적화의 중요한 요소이며, 이는 서로 다른 엔진이 서로 다른 데이터 워크로드에 더 적합할 수 있기 때문입니다. 예를 들어 Presto C++는 대규모 데이터 세트에서 고성능, 저지연 쿼리를 수행하는 데 사용할 수 있으며, Spark는 복잡한 분산 작업에 적합합니다.

데이터 최적화를 위한 다른 기법으로는 병렬 처리(데이터 처리 작업을 여러 프로세서에서 동시에 수행할 수 있도록 작은 단위로 나누는 방식), 규칙 기반 액세스 제어(RBAC, 민감한 데이터에 대한 접근을 제한하여 의도치 않은 데이터 손실과 의도적인 데이터 침해를 방지), 그리고 데이터 시각화(데이터 분석을 지원하기 위한 그래픽 표현)가 있습니다.

데이터 최적화는 데이터 관리의 구성 요소로 볼 수도 있고, 이를 보완하는 별도의 관행으로 볼 수도 있습니다. 궁극적으로 중요한 것은 데이터 최적화가 관리되는 데이터의 품질과 접근성을 향상시켜 보다 효과적인 데이터 관리를 가능하게 한다는 점입니다.

데이터 거버넌스는 데이터 수집, 소유권, 저장, 처리 및 사용에 대한 정책, 품질 표준 및 절차를 정의하고 구현하여 데이터 무결성과 데이터 보안을 보장하는 데 도움이 되는 데이터 관리 분야입니다. 따라서 이는 다양한 데이터 최적화 기법을 지원할 수 있습니다.

예를 들어 조직의 데이터 거버넌스 프로그램은 데이터 품질 향상 진행 상황을 측정하기 위해 데이터 품질 지표를 설정하고 데이터 저장을 최적화하는 데 도움이 되는 데이터 보존 정책을 수립할 수 있습니다.

데이터 최적화를 위한 툴은 특정 목적의 솔루션부터 종합 플랫폼까지 다양하며, 일반적으로 수작업을 줄이고 운영 효율성을 지원하는 AI 기반 기능을 포함합니다.

AI 기반 데이터 정제 툴은 원본 데이터에서 패턴, 이상치 및 불일치를 자동으로 식별할 수 있습니다. 규칙 기반 또는 학습 기반 AI 모델은 정확성, 최신성 또는 신뢰성을 기준으로 어떤 레코드를 유지할지 결정하여 중복 데이터를 통합하거나 제거할 수 있습니다. AI 모델은 과거 수정 이력과 사용자 피드백을 학습하여 데이터 정제 규칙의 생성과 적용을 자동화할 수 있습니다.

데이터 관측 가능성 툴은 자동 모니터링, 트리아지 알림, 근본 원인 분석, 데이터 계보 및 서비스 수준 협약(SLA) 추적을 가능하게 하여 사용자가 엔드투엔드 데이터 품질을 이해하도록 돕습니다. 이러한 툴은 결측값, 중복 레코드 또는 형식 불일치와 같은 문제를 후속 의존성에 영향을 미치기 전에 조기에 감지할 수 있도록 하여 문제 해결과 대응 속도를 높입니다.

데이터 거버넌스 툴은 데이터 최적화를 지원하는 정책을 포함하여 데이터 거버넌스 프로그램을 통해 수립된 정책을 조직이 실행하도록 돕습니다. 데이터 거버넌스 솔루션의 일반적인 기능에는 데이터 분류의 자동 수행, 데이터 보호 규칙 적용, 역할 기반 액세스 제어 시행, 그리고 데이터 개인정보 보호 및 규정 준수 요구 사항을 지원하는 기능이 포함됩니다.

하이브리드 클라우드 솔루션은 데이터 저장을 위한 “믹스 앤 매치” 접근 방식을 제공하며, 퍼블릭 클라우드 플랫폼, 프라이빗 클라우드 환경 및 온프레미스 인프라를 활용해 조직이 유연하고 확장 가능하며 비용 최적화된 방식으로 데이터를 저장할 수 있도록 합니다.

조직은 비즈니스 요구에 맞는 가장 적합하고 비용 효율적인 스토리지 옵션을 선택하고 필요에 따라 데이터 워크로드를 이동할 수 있습니다. 하이브리드 멀티클라우드 접근 방식은 기업이 둘 이상의 클라우드 공급자의 서비스를 사용할 수 있도록 하여 추가적인 유연성을 제공합니다.

데이터 레이크하우스는 데이터 레이크의 유연한 데이터 저장 기능과 데이터 웨어하우스의 고성능 분석 기능을 결합한 데이터 플랫폼입니다. 데이터 레이크하우스는 다양한 데이터 유형을 빠르고 저렴하게 저장하기 위해 클라우드 객체 스토리지를 사용합니다.

또한 하이브리드 아키텍처를 통해 여러 데이터 스토리지 시스템을 유지할 필요가 없어 운영 비용을 절감할 수 있습니다. 주요 솔루션의 기능에는 효율적인 쿼리 실행을 위한 여러 쿼리 엔진과 데이터 거버넌스, 데이터 정제 및 관측 가능성을 위한 통합 기능이 포함됩니다.

데이터 최적화 전략과 툴은 다양한 분야와 산업에서 효율성과 성능을 향상시킬 수 있습니다.

• 사물인터넷(IoT) 네트워크: IoT 네트워크의 센서에서 수집된 방대한 데이터를 압축하면 클라우드 스토리지를 보다 효율적으로 사용할 수 있습니다.⁵

• 고객 관계 관리(CRM): CRM 시스템에서의 데이터 정제 및 중복 제거는 리드 관리, 판매 예측 및 고객 커뮤니케이션 관리를 개선하는 데 도움을 줍니다.

• 자율주행 차량: 자율주행 모델 학습을 위해 수집된 이미지를 필터링하면 가장 가치 있는 이미지가 학습 데이터에 포함되도록 하면서 학습 속도도 향상시킬 수 있습니다.⁶

• 스포츠 이벤트: 데이터 시각화는 라이브 스포츠 이벤트 중 데이터 기반 스토리텔링과 콘텐츠 제작을 강화하고 가속화하는 데 도움을 줍니다.⁷