데이터 관리란 무엇인가요?

최고 성과를 내는 CEO의 72%는 경쟁 우위가 누가 가장 진보된 생성형 AI를 보유하고 있는지에 따라 좌우된다고 동의합니다. 그러나 인공 지능(AI)을 활용하려면 조직은 먼저 데이터에 액세스하고 사용할 수 있도록 정보 아키텍처를 구성해야 합니다. 근본적인 데이터 관리 문제에는 여러 위치 및 클라우드 제공업체에 걸친 데이터 볼륨, 데이터 사일로가 포함됩니다. 새로운 데이터 유형과 문서, 이미지 및 비디오와 같은 다양한 형식도 문제를 야기합니다. 또한 복잡성과 일관성 없는 데이터 세트로 인해 조직이 AI에 데이터를 사용하는 능력이 제한될 수 있습니다.

이러한 도전과제로 인해 빅데이터로 인한 문제를 해결하기 위해 효과적인 데이터 관리 전략이 조직의 우선 순위로 떠오르고 있습니다. 유연하고 현대적인 데이터 관리 시스템은 조직 내 기존 기술과 통합되어 데이터 과학자, AI 및 머신러닝(ML) 엔지니어, 조직의 비즈니스 사용자가 고품질의 사용 가능한 데이터에 액세스할 수 있도록 지원합니다. 

완벽한 데이터 관리 전략은 다음과 같은 다양한 요소를 고려합니다.

• 정형 데이터와 비정형 데이터를 포함한 다양한 소스와 하이브리드 및 멀티클라우드에서 데이터를 수집, 통합 및 저장합니다.
  
  
• 여러 위치에 저장된 데이터의 고가용성, 복원성 및 재해 복구를 유지합니다.
  
  
• 다양한 작업 부하와 가격 대비 성능 요구 사항을 충족하는 적합한 데이터베이스를 구축하거나 확보합니다.
  
  
• 조직 전체에서 비즈니스 데이터와 메타데이터를 공유하여 보다 나은 셀프 서비스, 협업 및 데이터 액세스를 지원합니다.
  
  
• 규정 준수 요구 사항을 충족하고 데이터 개인 정보 보호 요구 사항을 충족하는 동시에 데이터를 보호하고 관리합니다.
  
  
• 생성부터 삭제까지 통합, 거버넌스, 계보, 관측 가능성 및 마스터 데이터 관리(MDM)를 통해 데이터 라이프사이클을 관리합니다.
  
  
• 생성형 AI를 활용하여 데이터 검색 및 분석을 자동화하고 데이터 관리를 강화합니다.

생성형 AI 애플리케이션을 구축하기 위한 데이터 관리 도구는 널리 사용 가능하지만 데이터 자체는 고객과 비즈니스 모두에게 가치를 제공합니다. 모델을 성공적으로 학습하기 위해서는 많은 양의 고품질 데이터를 적절하게 구성하고 처리해야 합니다. 이러한 접근 방식은 최신 데이터 관리의 빠르게 성장하고 있는 사용 사례입니다.

예를 들어, 2023년 윔블던 챔피언십에서는 1억 3천만 개의 문서와 270만 개의 관련 맥락 데이터 포인트의 정보에 실시간으로 액세스하여 생성된 AI 기반 해설이 제공되었습니다. 토너먼트 앱 또는 웹사이트를 사용하는 방문자는 완전한 통계, 실황 중계 해설 및 게임 해설에 액세스할 수 있을 뿐만 아니라 경기가 진행됨에 따라 언제든지 승자에 대한 정확한 예측을 확인할 수 있었습니다. 올바른 데이터 관리 전략을 갖추면 귀중한 데이터를 항상 사용 가능하고, 통합하고, 관리하고, 안전하고, 정확하게 유지할 수 있습니다.

생성형 AI는 조직에 강력한 경쟁 우위를 제공할 수 있으며, 조직의 AI 전략은 사용되는 데이터의 강도에 따라 달라집니다. 많은 조직이 여전히 근본적인 데이터 문제로 어려움을 겪고 있으며, 더 많은 데이터를 필요로 하는 생성형 AI에 대한 수요로 인해 데이터 관리 문제가 더욱 악화되고 있습니다.

데이터는 여러 위치, 애플리케이션 및 클라우드에 저장될 수 있으며, 이로 인해 종종 고립된 데이터 사일로가 발생합니다. 게다가 이미지, 비디오, 문서, 오디오 등 다양하고 복잡한 형태의 데이터로 인해 데이터 용도가 더욱 다양해지고 있습니다. 데이터 정리, 통합 및 준비에는 더 많은 시간이 필요합니다. 이러한 문제로 인해 조직은 전체 데이터 자산을 분석 및 AI 목적으로 사용하지 않을 수 있습니다.

그러나 데이터 아키텍처, 거버넌스 및 보안을 위한 최신 도구를 갖추면 데이터를 성공적으로 사용하여 새로운 통찰력을 얻고 보다 정확한 예측을 일관되게 수행할 수 있습니다. 이 능력을 통해 고객 선호도를 더 깊이 이해할 수 있으며 데이터 분석에서 도출된 인사이트를 제공하여 고객 경험(CX)을 향상할 수 있습니다. 또한 모델 훈련을 위한 고품질 데이터 기반이 필요한 생성형 AI에 의존하는 서비스 제공과 같은 혁신적인 데이터 기반 비즈니스 모델의 개발을 촉진합니다.

데이터 및 분석 리더는 하이브리드 클라우드 배포 전반에서 데이터 환경의 복잡성이 증가함에 따라 조직을 혁신할 때 큰 어려움에 직면합니다. 생성형  AI 및 AI 어시스턴트, 머신러닝(ML), 고급 분석, 사물 인터넷(IoT), 자동화 역시 모두 효과적으로 작동하려면 엄청난 양의 데이터가 필요합니다. 이러한 데이터는 올바른 데이터 기반을 위해 저장, 통합, 관리, 변환 및 준비되어야 합니다. AI를 위한 강력한 데이터 기반을 구축하려면 조직은 개방적이고 신뢰할 수 있는 데이터 기반을 구축하는 데 집중해야 하며, 이는 개방성, 신뢰, 협업을 중심으로 하는 데이터 관리 전략을 수립하는 것을 의미합니다.

Gartner 애널리스트는 AI 요구 사항을 "AI 지원 데이터는 특정 용도에 맞게 AI 모델을 학습하거나 실행하는 데 필요한 모든 패턴, 오류, 이상값 및 예상치 못한 출현을 포함하여 데이터가 사용 사례를 대표해야 한다는 것을 의미합니다."라고 요약했습니다¹.

데이터 및 분석 경영진은 AI가 준비한 데이터가 고품질 데이터와 같다고 생각할 수 있지만, AI 이외의 목적을 위한 고품질 데이터의 기준이 반드시 AI 준비의 기준을 충족하는 것은 아닙니다. 예를 들어, 분석 영역에서 데이터는 일반적으로 이상값을 제거하거나 인간의 기대에 부응하기 위해 정제됩니다. 그러나 알고리즘을 학습시킬 때는 대표 데이터가 필요합니다.

데이터 거버넌스는 데이터 관리의 하위 집합입니다. 즉, 데이터 거버넌스 팀이 서로 다른 데이터 세트에서 공통점을 식별하고 이를 통합하려는 경우 데이터베이스 아키텍처 또는 엔지니어링 팀과 협력하여 연결 및 데이터 흐름을 용이하게 하는 데이터 모델과 데이터 아키텍처를 정의해야 합니다. 또 다른 예는 데이터 접근과 관련이 있습니다. 데이터 거버넌스 팀은 개인 식별 정보(PII)와 같은 특정 유형의 데이터에 대한 데이터 액세스와 관련된 정책을 설정할 수 있습니다. 한편 데이터 관리 팀은 직접 액세스를 제공하거나 액세스를 승인하기 위해 내부적으로 정의된 사용자 역할을 조정하는 등 액세스를 제공하기 위한 메커니즘을 설정합니다.

데이터 관리, 데이터 거버넌스 관행을 포함하여 효과적인 데이터 관리는 규정 준수를 준수하는 데 도움이 될 수 있습니다. 이 규정 준수에는 일반 데이터 보호 규정(GDPR) 및 California Consumer Privacy Act(CCPA)와 같은 국내 및 글로벌 데이터 보호 규정과 산업별 개인 정보 보호 및 보안 표준이 모두 포함됩니다. 포괄적인 데이터 관리 정책과 절차를 수립하는 것은 이러한 보호 조치를 입증하거나 감사를 받는 데 있어 매우 중요합니다.

최신 데이터 관리 솔루션은 다양한 데이터 세트에서 데이터와 메타데이터를 효율적으로 관리할 수 있는 방법을 제공합니다. 최신 시스템은 최신 데이터 관리 소프트웨어와 안정적인 데이터베이스 또는 데이터 저장소를 사용하여 구축됩니다. 여기에는 데이터 수집, 거버넌스, 리니지, 관측 가능성 및 마스터 데이터 관리를 포함한 데이터 패브릭 아키텍처와 결합된 트랜잭션 데이터 레이크, 데이터 웨어하우스 또는 데이터 레이크하우스가 포함될 수 있습니다. 이 신뢰할 수 있는 데이터 기반을 함께 사용하면 양질의 데이터를 데이터 제품, 비즈니스 인텔리전스(BI) 및 대시보드, AI 모델(기존 ML 및 생성형 AI)의 형태로 데이터 소비자에게 제공할 수 있습니다.

강력한 데이터 관리 전략에는 일반적으로 조직 전체의 전략 및 운영을 간소화하기 위한 여러 구성 요소가 포함됩니다.

데이터 처리 전이나 후에 데이터를 저장할 수 있지만, 일반적으로 데이터의 유형과 목적에 따라 사용되는 스토리지 리포지토리가 결정됩니다. 관계형 데이터베이스는 데이터를 테이블 형식으로 구성하지만 비관계형 데이터베이스는 데이터베이스 스키마만큼 엄격하지 않습니다.

관계형 데이터베이스는 일반적으로 명령이나 트랜잭션을 집합적으로 실행하는 트랜잭션 데이터베이스와도 연관되어 있습니다. 은행 송금을 예로 들 수 있습니다. 정의된 금액이 한 계좌에서 인출되고 그 다음에는 다른 계좌에 입금됩니다. 그러나 기업이 정형 및 비정형 데이터 유형을 모두 지원하려면 특수 목적에 맞게 구축된 데이터베이스가 필요합니다. 또한 이러한 데이터베이스는 분석, AI 및 애플리케이션 전반의 다양한 사용 사례를 충족해야 합니다. 키-값, 문서, 와이드컬럼, 그래프, 인메모리 등 관계형 데이터베이스와 비관계형 데이터베이스를 모두 포괄해야 합니다. 이러한 멀티모달 데이터베이스는 다양한 유형의 데이터와 최신 개발 모델을 기본적으로 지원하며 IoT, 분석, ML, AI를 비롯한 다양한 종류의 워크로드를 실행할 수 있습니다.

데이터 관리 모범 사례에 따르면 데이터 웨어하우징은 정형 데이터에 대한 성능 분석에 최적화되어야 합니다. 이를 위해서는 대시보드, 데이터 시각화 및 기타 비즈니스 인텔리전스 작업과 같은 특정 사용 사례에 대한 특정 데이터 분석 요구 사항을 충족하기 위해 정의된 스키마가 필요합니다. 이러한 데이터 요구 사항은 일반적으로 비즈니스 사용자가 데이터 엔지니어와 협력하여 지시하고 문서화하며, 궁극적으로 정의된 데이터 모델에 대해 실행됩니다.

데이터 웨어하우스의 기본 구조는 일반적으로 트랜잭션 데이터베이스에서 데이터를 소싱하여 구조화된 데이터 형식을 사용하는 관계형 시스템으로 구성됩니다. 그러나 비정형 데이터와 반정형 데이터의 경우 데이터 레이크는 관계형 시스템과 비관계형 시스템 모두의 데이터와 기타 비즈니스 인텔리전스 작업을 통합합니다. 데이터 레이크는 일반적으로 페타바이트 단위의 원시 데이터를 저장할 수 있는 저비용 스토리지 환경이기 때문에 다른 스토리지 옵션보다 선호되는 경우가 많습니다. 

데이터 레이크는 특히 데이터 과학자에게 유용합니다. 데이터 과학자는 데이터 과학 프로젝트에 정형 데이터와 비정형 데이터를 모두 통합할 수 있기 때문입니다. 그러나 데이터 웨어하우스와 데이터 레이크에는 그들만의 한계가 있습니다. 독점적인 데이터 형식과 높은 스토리지 비용은 데이터 웨어하우스 환경 내에서 AI 및 ML 모델 협업과 배포를 제한합니다.

이와 대조적으로 데이터 레이크는 통제되고 효율적인 방식으로 직접 통찰력을 추출하는 데 어려움을 겪습니다. 오픈 데이터 레이크하우스는 클라우드 오브젝트 스토리지 위에서 여러 개방형 형식을 처리하고, 기존 리포지토리를 포함한 다양한 소스의 데이터를 결합하여 궁극적으로 대규모 분석과 AI를 지원합니다.

멀티클라우드 및 하이브리드 전략이 꾸준히 대중화되고 있습니다. AI 기술은 확장성, 비용 최적화, 향상된 성능 및 비즈니스 연속성을 제공하기 위해 클라우드 네이티브 아키텍처에 상주하는 최신 데이터 저장소가 필요한 방대한 양의 데이터를 기반으로 합니다. Gartner에 따르면², 2026년 말까지 "멀티 클라우드와 하이브리드 기능을 지원하지 못하는 데이터 관리 도구와 플랫폼의 90%가 폐기될 것"이라고 합니다.

기존 도구는 데이터베이스 관리자(DBA)가 기존의 수많은 관리 작업을 자동화하는 데 도움이 되지만, 일반적으로 데이터베이스 설정의 크고 복잡한 특성으로 인해 수동 작업이 여전히 필요합니다. 수동 개입이 필요할 때마다 오류가 발생할 가능성이 높아집니다. 데이터베이스를 완전 관리형 서비스로 운영할 때는 수동 데이터 관리의 필요성을 최소화하는 것이 첫 번째 목표입니다.

완전 관리형 클라우드 데이터베이스는 업그레이드, 백업, 패치 및 유지 관리와 같이 시간이 많이 걸리는 작업을 자동화합니다. 이 접근 방식을 통해 DBA는 시간이 많이 걸리는 수동 작업에서 벗어나 스키마 최적화, 새로운 클라우드 네이티브 앱, 새로운 AI 사용 사례 지원과 같은 중요한 작업에 더 많은 시간을 할애할 수 있습니다. 온프레미스 배포와 달리 클라우드 스토리지 제공업체도 필요에 따라 대규모 클러스터를 가동할 수 있도록 사용자에게 허용하며, 일반적으로 지정된 스토리지에 대한 결제만 필요합니다. 즉, 조직이 며칠이 아닌 몇 시간 만에 작업을 실행하기 위해 더 많은 컴퓨팅 성능이 필요한 경우 클라우드 플랫폼에서 노드를 추가로 구매하여 이를 수행할 수 있습니다.

클라우드 데이터 플랫폼으로의 이러한 전환은 스트리밍 데이터의 처리의 채택도 촉진하고 있습니다. Kafka와 같은 도구를 사용하면 실시간 데이터 처리가 가능하므로 소비자는 몇 초 만에 주제를 구독하기 위해 데이터를 받을 수 있습니다. 그러나 일괄 처리는 많은 양의 데이터를 처리하는 데 더 효율적이라는 장점이 여전히 있습니다. 일괄 처리는 매일, 매주 또는 매월과 같은 정해진 일정을 따르지만 일반적으로 실시간 데이터가 필요하지 않은 비즈니스 성능 대시보드에 이상적입니다.

최근에는 이러한 데이터 시스템 관리의 복잡성을 지원하기 위해 데이터 패브릭이 등장했습니다. 데이터 패브릭은 지능적이고 자동화된 시스템을 사용하여 데이터 파이프라인과 클라우드 환경의 통합을 용이하게 합니다. 데이터 패브릭은 또한 데이터 제공을 간소화하고 데이터 거버넌스 정책을 시행하기 위한 프레임워크를 제공하여 사용된 데이터가 규정을 준수하는지 확인합니다. 이를 통해 조직 사일로에 상주하는 데이터에 연결하여 신뢰할 수 있는 데이터 제품에 대한 셀프 서비스 액세스를 용이하게 하여 비즈니스 리더가 비즈니스 성능에 대한 보다 전체적인 관점을 얻을 수 있도록 합니다. HR, 마케팅, 영업, 공급망 등 다양한 부문의 데이터를 통합하면 리더는 고객에 대한 이해도가 높아집니다.

데이터 메시도 유용할 수 있습니다. 데이터 패브릭은 종단간 통합을 용이하게 하는 아키텍처입니다. 반면, 데이터 메시는 특정 비즈니스 도메인(예: 마케팅, 영업, 고객 서비스 등)별로 데이터를 구성하는 분산형 데이터 아키텍처입니다. 이러한 접근 방식은 데이터 세트 생산자에게 더 많은 소유권을 제공합니다.

데이터 관리 라이프사이클의 이 단계에서는 웹 API, 모바일 앱, 사물인터넷(IoT) 장치, 양식, 설문조사 등과 같은 다양한 데이터 소스에서 원시 데이터가 수집됩니다. 데이터 수집 후 데이터는 일반적으로 추출, 변환, 로드(ETL) 또는 추출, 로드, 변환(ELT)과 같은 데이터 통합 기술을 사용하여 처리되거나 로드됩니다. ETL은 역사적으로 서로 다른 데이터 세트에서 데이터를 통합하고 구성하는 표준 방법이었지만 ELT는 클라우드 데이터 플랫폼의 등장과 실시간 데이터에 대한 수요 증가로 인기가 높아지고 있습니다.

일괄 처리 외에도 데이터 복제는 데이터를 통합하는 대체 방법으로, 소스 위치에서 하나 이상의 대상 위치로 데이터를 동기화하여 데이터 가용성, 안정성 및 복원력을 보장하는 데 도움이 됩니다. 변경 데이터 캡처(CDC)와 같은 기술은 로그 기반 복제를 사용하여 소스 데이터의 변경 사항을 캡처하고 해당 변경 사항을 대상 시스템에 전파하므로 조직은 현재 정보를 기반으로 의사 결정을 내릴 수 있습니다.

사용된 데이터 통합 기술과 관계없이 데이터는 일반적으로 데이터 처리 단계에서 필터링, 병합 또는 집계되어 의도된 목적에 대한 요구 사항을 충족합니다. 이러한 애플리케이션은 비즈니스 인텔리전스 대시보드에서 예측 머신러닝 알고리즘에 이르기까지 다양할 수 있습니다.

버전 관리를 위해 지속적 통합 및 지속적 배포(CI/CD)를 사용하면 데이터 팀이 코드 및 데이터 자산의 변경 사항을 추적할 수 있습니다. 버전 제어를 사용하면 데이터 팀이 프로젝트의 여러 부분에서 동시에 작업하고 충돌 없이 변경 사항을 병합할 수 있으므로 보다 효과적으로 협업할 수 있습니다.

데이터 거버넌스는 데이터의 가용성과 사용을 촉진합니다. 규정 준수를 보장하기 위해 거버넌스에는 일반적으로 데이터 품질, 데이터 접근, 사용성 및 데이터 보안과 관련된 프로세스, 정책 및 도구가 포함됩니다. 예를 들어, 데이터 거버넌스 위원회는 다양한 데이터 소스에서 메타데이터가 일관되게 추가되도록 하기 위해 분류 체계를 조정하는 경향이 있습니다. 또한 데이터 카탈로그를 통해 분류 체계를 추가로 문서화하여 사용자가 데이터에 더 쉽게 액세스할 수 있도록 하여 조직 전체에서 데이터 민주화를 촉진할 수 있습니다.

올바른 비즈니스 컨텍스트로 데이터를 보강하는 것은 데이터 거버넌스 정책 및 데이터 품질의 자동화된 시행에 매우 중요합니다. 여기에서 SLA(서비스 수준 계약) 규칙이 적용되어 데이터가 보호되고 필요한 품질을 보장받을 수 있습니다. 데이터의 출처를 이해하고 파이프라인에서 이동하는 데이터의 여정에 대한 투명성을 확보하는 것도 중요합니다. 이를 위해서는 조직 데이터가 데이터 소스에서 최종 사용자에게 전달될 때 가시성을 높일 수 있는 강력한 데이터 리니지 능력이 필요합니다. 또한 데이터 거버넌스 팀은 데이터 접근이 적절하게 제공되도록 역할과 책임을 정의합니다. 이러한 제어된 액세스는 데이터 프라이버시를 유지하는 데 특히 중요합니다.

데이터 보안은 디지털 정보를 무단 액세스, 손상 또는 도난으로부터 보호하기 위한 보호 장치를 마련합니다. 디지털 기술이 우리 생활에서 차지하는 비중이 커짐에 따라 현대 기업의 보안 관행에 대한 조사가 더욱 엄격해지고 있습니다. 이러한 조사는 사이버 범죄자로부터 고객 데이터를 보호하거나 재해 복구가 필요한 인시던트를 방지하는 데 중요합니다. 데이터 손실은 모든 비즈니스에 치명적일 수 있지만, 특히 데이터 침해는 재무 및 브랜드 관점에서 비용이 많이 드는 결과를 초래할 수 있습니다. 데이터 보안 팀은 데이터 보안 전략 내에서 암호화 및 데이터 마스킹을 사용하여 데이터를 더 잘 보호할 수 있습니다. 

데이터 관측성은 조직 내의 다양한 프로세스, 시스템 및 파이프라인에서 데이터의 품질, 가용성 및 안정성을 보장하면서 데이터를 모니터링, 관리 및 유지 관리하는 관행을 말합니다. 데이터 관측성은 데이터 에코시스템 전반에서 조직 데이터의 상태와 현황을 진정으로 이해하는 것입니다. 여기에는 단순히 문제를 설명하는 것 이상의 다양한 활동이 포함됩니다. 데이터 관측성은 거의 실시간으로 데이터 문제를 파악하고 조치를 취해 해결하는 데 도움이 될 수 있습니다.

마스터 데이터 관리(MDM)는 제품, 고객, 직원 및 공급업체를 포함한 핵심 비즈니스 주체에 대한 고품질의 단일 뷰를 만드는 데 중점을 둡니다. MDM은 마스터 데이터와 그 관계에 대한 정확한 뷰를 제공함으로써 더 빠른 인사이트, 향상된 데이터 품질 및 규정 준수 준비를 지원합니다. MDM은 기업 전반의 마스터 데이터에 대한 단일 360도 뷰를 통해 기업이 올바른 데이터를 사용하여 분석을 추진하고, 가장 성공적인 제품 및 시장, 가장 가치 있는 고객을 결정할 수 있도록 지원합니다.

조직은 데이터 관리 이니셔티브를 시작하고 유지 관리할 때 여러 가지 이점을 경험합니다. 

많은 기업이 의도치 않게 조직 내에 데이터 사일로를 만듭니다. 데이터 패브릭 및 데이터 레이크와 같은 최신 데이터 관리 도구와 프레임워크는 데이터 사일로와 데이터 소유자에 대한 종속성을 제거하는 데 도움이 됩니다. 예를 들어, 데이터 패브릭은 인사, 마케팅, 영업 등 여러 부서에서 서로 다른 데이터 집합을 통합할 수 있는 잠재력을 발견하는 데 도움이 됩니다. 그러나 데이터 레이크는 동일한 함수에서 원시 데이터를 수집하여 종속성을 제거하고 데이터 세트에 대한 단일 소유자를 제거합니다.

거버넌스 위원회는 정부 규정 및 정책을 준수하지 않아 발생할 수 있는 벌금 및 부정적인 여론으로부터 기업을 보호하기 위한 가드레일을 배치하는 데 도움을 줍니다. 여기서 실수는 브랜드와 재정적 관점 모두에서 비용이 많이 들 수 있습니다.

이러한 이점을 바로 확인할 수는 없지만 성공적인 개념 증명은 전반적인 사용자 경험을 개선하여 팀이 보다 총체적인 분석을 통해 고객 여정을 더 잘 이해하고 개인화할 수 있도록 합니다.

데이터 관리는 비즈니스 확장에 도움이 될 수 있지만, 이는 주로 기술과 프로세스에 따라 달라집니다. 예를 들어, 클라우드 플랫폼은 유연성을 높여 데이터 소유자가 필요에 따라 컴퓨팅 성능을 확장하거나 축소할 수 있습니다.

지난 10년 동안 하이브리드 클라우드, 인공 지능, 사물인터넷IoT) 및 엣지 컴퓨팅의 발전으로 빅 데이터가 기하급수적으로 증가하여 기업의 관리가 훨씬 더 복잡해졌습니다. 새로운 구성 요소는 데이터 관리 기능을 계속해서 개선합니다. 다음은 몇 가지 최신 요소입니다.

데이터 관리 기능을 더욱 향상시키기 위해 증강 데이터 관리가 점점 더 인기를 얻고 있습니다. 이는 AI, ML, 데이터 자동화, 데이터 패브릭 및 데이터 메시를 포함하는 인지 기술로 구동되는 증강 인텔리전스의 한 분야입니다. 이 자동화의 이점에는 데이터 소유자가 데이터 자산의 카탈로그와 같은 데이터 제품을 만들 수 있으며, 데이터 제품을 검색 및 찾고 API를 사용하여 시각적 개체 및 데이터 제품을 쿼리할 수 있다는 이점이 있습니다. 또한 데이터 패브릭 메타데이터에서 얻은 인사이트는 데이터 제품 생성 프로세스의 일부로 또는 데이터 제품 모니터링의 데이터 관리 프로세스의 일부로 패턴을 학습하여 작업을 자동화하는 데 도움이 될 수 있습니다.

IBM watsonx.data™와 같은 생성형 AI를 위한 데이터 저장소는 조직이 AI 모델 및 애플리케이션을 위해 데이터를 효율적으로 통합, 큐레이션 및 준비할 수 있도록 도와줍니다. 통합되고 벡터화된 임베딩 기능을 통해 대규모의 신뢰할 수 있고 관리되는 데이터 세트에서 대규모 검색 증강 생성(RAG) 사용 사례를 구현할 수 있습니다.

플랫폼, 클러스터, 클라우드 전반에 걸쳐 애플리케이션 연결과 보안을 단순화하기 위해 하이브리드 클라우드 구축이 도움이 될 수 있습니다. 컨테이너와 오브젝트 스토리지를 통해 컴퓨팅과 데이터를 이식할 수 있게 되었기 때문에 애플리케이션을 환경 간에 쉽게 배포하고 이동할 수 있습니다.

SQL 없이 데이터 액세스를 가속화하고 새로운 데이터 통찰력을 얻기 위해 조직에서는 내장형 AI 기반 의미 계층을 만들고 있습니다. 이는 데이터 레이크 또는 웨어하우스와 같은 조직의 소스 데이터에 구축되는 메타데이터 및 추상화 계층입니다. 메타데이터는 사용 중인 데이터 모델을 보강할 수 있을 뿐만 아니라 비즈니스 사용자가 이해할 수 있을 만큼 충분히 명확할 수 있습니다.

조직은 스토리지와 분석 환경을 연결하여 하이브리드 클라우드 전반에서 데이터에 액세스할 수 있습니다. 이러한 액세스는 클라우드 및 온프레미스 환경 전반에서 공유 메타데이터 계층이 있는 단일 진입점을 통해 이루어질 수 있습니다. 여러 쿼리 엔진을 사용하여 분석 및 AI 워크로드를 최적화할 수 있습니다.

데이터 레이크하우스에 공유 메타데이터 계층을 만들고 데이터를 카탈로그화하고 공유하는 것이 모범 사례입니다. 이를 통해 여러 소스에서 데이터를 검색하고 강화하며 분석하고, 여러 워크로드와 사용 사례를 실행하는 속도가 빨라집니다.

또한 공유 메타데이터 관리 도구를 사용하면 공유 리포지토리의 객체 관리 속도가 빨라집니다. 공유 리포지토리에서 항목을 삭제하는 것 외에도 새 호스트 시스템을 추가하거나 새 데이터베이스 또는 데이터 파일을 추가하거나 새 스키마를 추가하는 데 사용할 수 있습니다.