AI 데이터 통합이란 무엇인가요?

기존 데이터 통합은 여러 소스의 데이터를 통합된 형식으로 결합하고 조화시키는 프로세스로, 데이터 엔지니어가 관리하는 고정 규칙 또는 반자동화된 프로세스에 의존합니다.¹ 그러나 이러한 접근 방식은 현대 데이터 환경의 규모와 복잡성을 처리하도록 설계되지 않았습니다.

오늘날의 AI 및 분석 워크로드에는 높은 수준의 속도, 유연성 및 가시성을 갖춘 데이터 기반이 필요합니다. 이러한 요구 사항은 툴 확산, 분절된 워크플로 및 데이터 사일로 문제를 이미 겪고 있는 데이터 팀에 빠르게 과도한 부담을 줄 수 있습니다.

AI는 효율적이면서도 미래의 데이터 요구 사항에 적응할 수 있는 지능적이고 간소화된 통합 접근 방식을 제공합니다. AI 데이터 통합은 수동 변환에 의존하는 대신 대규모 언어 모델(LLM), AI 에이전트 및 자동화를 활용하여 데이터를 스스로 학습하고 적응하며 의사결정을 수행함으로써, 반응형 프로세스를 선제적이고 지능적인 시스템으로 전환합니다.

현대 기업은 다양한 데이터 유형이 존재하는 복잡한 분산 환경에서 운영됩니다. 이들은 혁신을 추진하고 실시간으로 의사결정을 내려야 한다는 점점 더 큰 압박을 받고 있습니다. 기존 데이터 통합 방식은 이러한 요구 사항을 충족하도록 설계되지 않았습니다.

AI 데이터 통합이 지금 중요한 이유는 다음 네 가지 주요 변화로도 설명할 수 있습니다.

비정형 데이터는 이미지, 문서 및 사물 인터넷(IoT) 센서 데이터와 같이 사전에 정의된 형식이 없는 정보를 의미합니다. 오늘날 비정형 데이터는 대규모로 생성되고 있으며, 기업이 생성하는 데이터의 90%를 차지하는 것으로 추정됩니다.²

비정형 데이터의 규모는 이를 분석 및 AI에 매우 가치 있는 자산으로 만듭니다. 그러나 데이터 스키마가 빠르게 변경되고, 업데이트가 비동기적으로 발생하며, 데이터 품질 문제가 증가하는 환경에서는 수작업 기반 통합 방식이 빠르게 한계에 부딪힐 수 있습니다.³ 보다 유연하고 효율적인 통합 프로세스가 없다면 기업은 가치 있는 데이터를 활용하지 못할 위험에 직면하게 됩니다.

AI는 액세스할 수 있는 데이터에 대해서만 작동할 수 있으므로, 기업 데이터에 대한 통합 액세스는 AI 준비도를 위한 필수 요건입니다. 조직은 AI를 효과적으로 지원하기 위해 데이터베이스, 데이터 레이크 및 비즈니스 애플리케이션 전반에 분산된 데이터를 단일하고 관리 가능한 형태로 볼 수 있어야 합니다.

예를 들어 LLM은 정확하고 컨텍스트에 맞는 응답을 생성하기 위해 방대한 양의 관련 데이터를 필요로 합니다. AI 에이전트도 유사한 요구 사항을 가지며, 워크플로 전반에서 안정적으로 작동하기 위해 통합된 데이터에 의존합니다. 정확하고 최신이며 관련성 있는 비즈니스 데이터에 대한 액세스는 LLM과 AI 에이전트 모두의 결과물이 완전하고 일관되며 최신 상태를 유지하도록 돕습니다.

성공적인 데이터 기반 의사결정은 대규모의 다양한 데이터 세트에서 분석 정보를 빠르고 안전하며 비용 효율적으로 도출할 수 있는 능력에 달려 있습니다.⁴ 이를 위해서는 신뢰할 수 있는 최신 데이터를 지속적으로 제공할 수 있는 자동화된 저지연 시간 파이프라인이 필요합니다.

그러나 기존의 파이프라인 설계 및 오케스트레이션 방식은 AI와 실시간 분석이 요구하는 속도와 규모를 위해 설계되지 않았습니다. 배치 기반 추출, 변환, 적재(ETL) 프로세스는 실행까지 걸리는 시간과 분석 정보 도출까지 걸리는 시간을 늘리는 지연을 발생시키며, 이로 인해 결과물이 오래되거나 활용할 수 없게 되는 경우가 많습니다.

데이터 환경이 더욱 복잡해질수록 작은 변경 사항조차도 통합을 방해할 수 있으며, 연구자들이 “귀중한 엔지니어링 리소스를 소모하는 파이프라인 장애의 감지, 진단 및 해결이 반복되는 순환 구조”라고 부르는 문제를 초래할 수 있습니다.⁵

IBM 소프트웨어 엔지니어 Jahangir Khan에 따르면, 기업 AI와 실시간 의사결정을 우선시하는 조직에게 AI 기반 파이프라인 설계 및 오케스트레이션으로의 전환은 점점 더 “피할 수 없으면서도 필수적인 것”으로 여겨지고 있습니다.⁶ 에이전틱 AI가 지원하는 파이프라인은 자체 적응 및 자체 복구 기능을 제공하여 데이터 통합 프로세스를 근본적으로 개선하고 복원력과 속도를 향상시킬 수 있습니다.

AI 데이터 통합은 현대 데이터 팀의 업무 속도를 저하시키는 세 가지 주요 실행 과제를 해결하는 데 도움이 됩니다.

• 데이터 액세스
• 파이프라인 신뢰성
• 기술 역량 제약

AI 데이터 통합은 LLM, 머신 러닝 및 자동화를 활용하여 엔드투엔드 데이터 통합 프로세스를 간소화합니다. 가장 일반적인 방법은 다음과 같습니다.

• 데이터 검색, 분류 및 보강
• 여러 소스 간 데이터 매핑 및 변환
• 데이터 품질 및 파이프라인 상태 모니터링
• 데이터 파이프라인 설계 및 오케스트레이션
• 자연어를 사용한 데이터 쿼리

데이터가 통합되고 전달되기 전에 AI는 다음과 같은 여러 상위 단계 작업을 자동화할 수 있습니다.

• 
  관련 데이터 세트, 웹 소스, 액세스 로그 및 메타데이터 저장소를 분석하여 새로운 내부 및 외부 데이터 소스를 검색합니다.
  
  
• 의사결정트리, 랜덤 포레스트, 신경망과 같은 모델을 사용하여 데이터를분류하고 태그를 지정하여 거버넌스와 의미적 일관성을 개선합니다^.10
  
  
• 비즈니스 맥락과 감정, 회사 식별자 같은 메타데이터로 데이터를 보강합니다 .
  
  
• 엔티티, 관계 및 패턴을 감지하여 비정형 데이터에서 구조를 추출합니다.
  
  
• 새로운 소스가 등장하고 비즈니스 정의가 진화함에 따라 데이터 카탈로그를 최신 상태로 유지합니다 .
  

이러한 AI 기반 기능은 후속 분석 및 AI에 필요한 관련 데이터를 더 쉽게 찾고, 해석하고, 준비할 수 있도록 지원합니다.

AI는 스키마 매핑 및 데이터 변환과 같은 핵심 데이터 통합 작업도 자동화할 수 있습니다. 기존의 데이터 매핑 및 변환은 전문적인 엔지니어링 역량과 하드코딩된 규칙에 의존합니다. AI 모델은 의미적 이해를 바탕으로 데이터 소스 간 스키마를 자동으로 매핑하고 정렬할 수 있습니다.

예를 들어 AI는 필드 이름과 데이터 형식이 서로 다르더라도 한 시스템의 “emp_ID”를 다른 시스템의 “employee_number”와 연결할 수 있습니다. 이러한 컨텍스트를 활용해 AI는 변환 로직과 정규화 규칙을 생성할 수 있으며, 비즈니스 로직이 변경되더라도 코드를 다시 작성하지 않고 이를 조정할 수 있습니다.

기존에는 팀이 파이프라인을 모니터링하기 위해 사용자 지정 관측 가능성 로직, 대시보드, 경고 및 수동 진단에 의존했습니다. 문제 해결에는 전문적인 기술 역량과 여러 이해관계자 간의 조율이 필요한 경우가 많았습니다.

AI 시스템은 다음과 같은 자동화 기능을 통해 데이터 품질을 유지하고 문제를 더욱 신속하게 해결할 수 있습니다.

• 파이프라인 모니터링
• 이상 활동 감지
• 스키마 드리프트 감지
• 근본 원인 분석
• 문제 해결 권장 사항 제공
• 검증
• 문서

AI는 품질 기준선을 학습하고 아주 작은 편차까지 인식함으로써 데이터 품질 관리를 향상시킬 수도 있습니다. 이러한 모든 기능은 사용자에게 제공되는 데이터가 신뢰할 수 있고 일관되며 즉시 사용할 수 있는 상태가 되도록 지원합니다.

에이전틱 AI는 각 워크로드에 가장 적합한 통합 방식을 추천함으로써 데이터 파이프라인의 설계 및 오케스트레이션을 지원할 수 있습니다. 데이터 소스, 성능 요구 사항 및 비용 제약에 따라 AI 시스템은 ETL/ELT, 실시간 스트리밍, 복제 또는 하이브리드 접근 방식을 제안할 수 있습니다.

선언적 파이프라인 작성은 이러한 프로세스를 지원할 수 있습니다. 엔지니어는 각 단계를 수동으로 코딩하는 대신 원하는 결과와 거버넌스 규칙을 정의하며, 이를 통해 시스템이 검토 및 승인을 위한 파이프라인 계획을 생성할 수 있습니다. 그런 다음 AI 에이전트가 워크플로 실행을 지원할 수 있습니다.

AI는 워크로드 패턴과 비즈니스 요구 사항을 기반으로 객체 스토리지, 데이터 웨어하우스 또는 데이터베이스와 같은 통합 데이터의 최적 저장 위치를 추천할 수도 있습니다. 시간이 지남에 따라 에이전틱 시스템은 과거 데이터를 활용해 우선순위와 실행 경로를 최적화함으로써 오케스트레이션을 개선할 수 있으며, 이는 종종 강화 학습을 통해 이루어집니다.

대부분의 비즈니스 사용자는 구조적 쿼리 언어(SQL)를 알지 못하며, 보고서 작성이나 일상적인 질의에 필요한 기업 데이터에 액세스하기 위해 기술 팀에 의존합니다. AI 데이터 통합은 자연어 처리(NLP)와 LLM을 사용하여 자연어 요청을 해석하고 SQL 쿼리를 생성하는 노코드 셀프서비스 데이터 에이전트를 통해 이러한 마찰을 줄여줍니다.

예를 들어 재무 분석가는 “지난 두 분기 동안 고객 세그먼트별 수익성 추세를 보여줘.”라고 요청할 수 있습니다. 에이전트는 요청을 해석하고 쿼리를 생성한 뒤 결과를 반환합니다.

이러한 접근 방식은 데이터 액세스 지연을 줄이고 통합된 기업 데이터를 비즈니스 전반에서 더욱 쉽게 활용할 수 있도록 합니다. 요청에 대해 더 많은 제어 권한을 원하는 기술 사용자의 경우 Python 소프트웨어 개발 키트(SDK)는 LLM을 사용해 사용자 요청에 기반한 Python 스크립트를 생성하고 실행할 수 있습니다.

데이터 통합에 고급 AI 기능을 활용하면 다음과 같은 다양한 이점을 얻을 수 있습니다.

• 더 빠른 의사 결정: AI 지원을 통해 데이터 요청 처리 시간이 몇 주에서 몇 분으로 단축되어, 비즈니스 팀은 기회와 리스크가 여전히 유효한 시점에 신속하게 대응할 수 있습니다.
  
  
• 신뢰할 수 있는 고품질 데이터: 내장된 AI 관측 가능성, 모니터링 및 거버넌스 기능은 잘못된 데이터나 규정을 준수하지 않는 데이터가 다운스트림 저장소나 의사결정에 사용될 위험을 줄여줍니다.
  
  
• 단순화된 아키텍처: 에이전틱 시스템은 배치 처리, 실시간 스트리밍 또는 데이터 복제 워크로드 등 다양한 통합 파이프라인을 단일 플랫폼으로 통합합니다. 그 결과 사용자는 여러 툴을 오가며 작업할 필요가 없습니다. 
  
  
• 생산성 향상: 자동화와 셀프서비스 기능은 데이터 통합 워크플로 내의 반복적이거나 부가가치가 낮은 작업을 줄여주며, 데이터 엔지니어가 전략적인 업무에 집중할 수 있도록 합니다.

또한 AI가 데이터 엔지니어링의 민주화를 크게 촉진하고 있다는 주장도 있습니다. AI는 데이터 액세스와 이해의 장벽을 낮춤으로써 기술 전문성이 없는 비즈니스 사용자도 데이터를 적극적으로 활용할 수 있도록 지원합니다.

AI 데이터 통합 솔루션을 도입할 수 있는 실제 활용 사례는 매우 다양하며, 예를 들면 다음과 같습니다.

• 실시간 스트리밍
• 데이터 웨어하우징
• 재무 계획
• AI용 데이터
• 영업 및 수익 운영

데이터 통합에는 모든 상황에 적용되는 단일 접근 방식이 존재하지 않습니다. AI 기반 데이터 통합 솔루션을 평가할 때는 다양한 기능, 특성 및 서비스를 고려해야 합니다. 다음 세 가지 핵심 질문이 솔루션 선택에 도움이 될 수 있습니다.

애플리케이션 프로그래밍 인터페이스(API) 또는 사전 구축된 커넥터를 통해 네이티브 에코시스템 연결을 지원하는 솔루션은 공급업체 종속성을 줄이고 기존 데이터 투자의 가치를 극대화할 수 있습니다. 이러한 AI 기반 솔루션은 파일 스토리지 시스템, 이벤트 기반 아키텍처, 데이터 저장소 및 비즈니스 애플리케이션과 원활하게 연결되어야 합니다. 플랫폼이 변화하는 요구 사항에 맞춰 확장될 수 있도록 하려면 상호운용성만큼 확장성도 중요하며, 여기에는 사용자 지정 코드나 비네이티브 데이터 소스 지원도 포함됩니다.

데이터 정제, 데이터 보안 및 데이터 거버넌스 기능이 내장된 AI 데이터 플랫폼은 통합 라이프사이클 전반에서 데이터의 신뢰성과 신뢰도를 유지하는 데 도움이 됩니다. 또한 민감한 데이터를 무단 액세스 및 사용으로부터 보호합니다. AI 기반 관측 가능성 및 모니터링 기능은 평소라면 발견되지 않을 수 있는 미세한 이상 징후를 포함해 문제를 조기에 감지할 수 있습니다.

기업은 점점 더 하이브리드 멀티클라우드 환경에서 운영되고 있으므로, 온프레미스, 클라우드 또는 하이브리드 에코시스템 전반에서 파이프라인을 실행할 수 있는 솔루션이 필수적입니다. 하이브리드 배포 및 제자리 데이터 처리는 지연 시간과 데이터 전송 비용을 최소화하는 동시에 장기적인 기술 부채를 줄이는 데도 도움이 됩니다.