에이전틱 데이터 관리: 기업 데이터 에코시스템의 다음 진화

AI 에이전트는 이미 우리 주변 곳곳에 존재합니다. 이러한  시스템은 제한적인 인간 개입만으로도 자율적으로 작업을 수행하며, 대부분의 경우 사람들이 거의 인식하지 못하는 방식으로 작동합니다.

예를 들어 자율주행 차량을 생각해 보세요. 자율주행 차량은 주변 환경을 감지하고 상황을 평가하며 실시간으로 순식간에 의사 결정을 내립니다. 이 차량들이 이동할 수 있는 이유는 모든 가능한 상황을 사람이 일일이 코드로 작성했기 때문이 아니라, 신호를 지속적으로 해석하고 환경 변화에 맞게 적응하기 때문입니다.

이제 이러한 수준의 지능을 기업 데이터 프로그램에 적용한다고 상상해 보세요. 수천 개의 데이터 세트. 수백만 개의 레코드. 수십억 건의 데이터 기반 의사 결정이 이루어집니다.

에이전틱 데이터 관리(ADM)는 이러한 수준의 오케스트레이션을 가능하게 합니다. AI 기반 에이전트의 의사 결정 역량을 통해 기업은 데이터를 처리하고 관리하며 활용하는 방식을 새롭게 재구성하기 시작하고 있습니다.

에이전틱 데이터 관리는 AI 에이전트를 사용하여 기업의 전체 데이터 프로그램을 조정하고 최적화합니다.¹ 여기에는 다음이 포함됩니다.

• 데이터 파이프라인 구축
• 데이터 소스 탐색
• 스토리지 프로비저닝 및 계층화
• 의미적 일관성 유지
• 거버넌스 및 접근 제어 적용
• 데이터 품질 및 무결성 모니터링
• 워크로드 및 성능 최적화
• 분석 및 비즈니스 인텔리전스 인사이트 생성

ADM은 경직된 워크플로에 의존하는 대신, 전문화된 에이전트를 사용하여 데이터 라이프사이클의 각 단계에 지능을 적용합니다. 이 시스템은 사용자의 의도를 해석하고 어떤 데이터와 정책이 관련되어 있는지 판단하며, 조건이 변할 때 운영을 자동으로 조정할 수 있습니다.

이러한 기능 중 상당수는 대형 언어 모델(LLM)에 의해 구현되며, 이 모델은 에이전트 내부에서 추론 계층을 제공합니다. LLM은 자연어 처리를 사용하여 의도를 해석하고 이를 조정된 데이터 전략으로 변환합니다. 이는 ChatGPT나 Google Gemini와 같은 툴이 프롬프트를 해석하는 방식과 유사합니다. 이들은 메타데이터, 데이터 계보, 머신 러닝, 비즈니스 규칙을 활용하여 어떤 데이터가 관련 있는지, 데이터를 어떻게 검증하고 관리해야 하는지, 그리고 다운스트림 분석을 위해 어떻게 준비해야 하는지를 판단합니다.

그다음 에이전틱 시스템은 데이터 작업을 완료하기 위해 필요한 단계를 정의합니다. 이 과정에는 데이터 소스 접근, 정책 적용, 워크로드 최적화, 스토리지 동작 관리, 그리고 최종적으로 신뢰할 수 있는 결과 생성이 포함될 수 있습니다.

에이전틱 데이터 관리가 기존 데이터 관리와 구별되는 점은 컨텍스트에 따라 진화하는 자기 적응형 시스템이라는 것입니다. 이 시스템은 워크플로를 고정된 산출물로 취급하지 않고 신호로부터 지속적으로 학습하며 조건 변화에 맞게 조정합니다.

예를 들어 공급망 관리자가 “유입되는 피드를 모니터링하고 중복 레코드가 나타나면 이를 해결하라”는 지시를 내릴 수 있습니다. 새로운 주문이 들어오면 AI 기반 시스템은 의도를 해석하고 실시간으로 계획을 조정하여 레코드를 병합하고 불일치를 표시하며 상황 변화에 따라 작업을 에이전트에 할당합니다.

아직 초기 단계의 접근 방식이지만, 조직들은 이미 ADM을 활용하여 데이터 신뢰성과 운영 효율성을 다음과 같은 방식으로 개선하고 있습니다.

• 자동화된 데이터 품질 및 검증: 데이터가 조직 전반을 이동하는 과정에서 데이터 드리프트, 불일치, 예상치 못한 변화를 탐지합니다.

• 셀프서비스 데이터 통합: 자연어 기반 통합 요청을 거버넌스가 적용된 즉시 사용 가능한 파이프라인으로 변환합니다.

• 데이터 정렬: 정의나 규칙이 변경될 때에도 고객 관계 관리(CRM), 공급망, 재무 시스템 간의 일관성을 유지합니다.

• 이동 중 데이터 규정 준수: 데이터가 이동하는 동안에도 규정을 준수하도록 보장하며, 지속적 관측 가능성 가드레일을 사용해 품질, 계보, 규제 요구 사항을 적용합니다.

• 컨텍스트 인지 보강: 비즈니스 로직이 발전함에 따라 분류와 속성을 업데이트합니다.

• 오케스트레이션 최적화: 비용, 성능 또는 시스템 조건에 따라 실행 경로를 조정합니다.

기업은 그 어느 때보다 많은 시스템에서 더 많은 데이터를 생성하고 있습니다. 그러나 데이터 규모가 증가하고 아키텍처가 점점 더 하이브리드 및 분산 형태로 발전함에 따라 많은 조직이 이러한 복잡한 데이터를 신뢰할 수 있는 실시간 인사이트로 전환하는 데 여전히 어려움을 겪고 있습니다. 실제로 기업의 76%는 데이터에 접근하기가 너무 어려워 데이터를 확인하지 않은 채 의사 결정을 내린 적이 있다고 인정합니다.

기존 데이터 관리 접근 방식은 수작업과 인간의 개입에 크게 의존하기 때문에 스키마가 변경되거나 지표가 발전하거나 운영 로직이 바뀔 때 빠르게 적응하기 어렵습니다. 에이전틱 데이터 관리는 기존 접근 방식이 따라가기 어려운 여러 구조적 압력을 해결하기 때문에 빠르게 확산되고 있습니다.

현대의 데이터 프로그램은 수작업 접근 방식으로는 해결하기 어려운 구조적 데이터 문제에도 직면해 있습니다. 50%가 넘는 조직이 세 개 이상의 데이터 통합 툴에 의존하고 있으며, 이로 인해 팀 간 워크플로가 분절되고 로직의 일관성이 깨지는 문제가 발생합니다. 이러한 분절화는 더 큰 문제로 이어집니다. 품질 검사가 너무 늦게 이루어지고, 거버넌스 규칙이 시스템 간에 서로 달라지며, 데이터 계보 단절이 발견되지 않고, 의미적 정의가 서로 맞지 않게 됩니다. 실제로 77%의 조직은 이러한 복잡성을 관리할 인재가 부족합니다.

이러한 압력은 데이터 팀에 직접적인 영향을 미칩니다. 엔지니어는 시간의 10~30%을 데이터 문제를 발견하는 데 사용하고, 또 다른 10~30%를 이를 해결하는 데 사용합니다. 이는 엔지니어 한 명당 연간 770시간이 넘는 시간이며, 낭비되는 노동 비용으로 환산하면 $40,000 이상에 해당합니다. 한편 분석가와 비즈니스 사용자는 필요한 데이터를 얻기 위해 평균 1~4주를 기다립니다. 이는 통합 작업이 사일로화되어 있거나 지연되기 때문입니다.

에이전틱 데이터 관리는 기업이 대규모 환경에서 데이터 정확성, 품질, 무결성을 보장하는 방식을 변화시키는 접근 방식입니다. 모든 변환을 일일이 스크립트로 작성하거나 경직된 규칙을 유지하는 대신, 조직은 AI 에이전트를 도입하여 파이프라인 생성을 확장하고 데이터 운영을 간소화하며 병목 현상을 줄이고 훨씬 적은 수작업 개입으로도 높은 데이터 품질을 유지할 수 있습니다. 전체 라이프사이클 전반에서 더 효율적인 운영과 신뢰할 수 있는 데이터를 확보하면 데이터 팀은 반복 작업이 아니라 전략에 집중할 수 있습니다.

에이전틱 데이터 관리는 네 가지 핵심 구성 요소를 결합합니다. 각 구성 요소는 AI 모델, 에이전트, 의미 기술로 이루어진 조정된 계층에 의해 구현됩니다.

• 의도 해석
• 계획 실행
• 의미적 컨텍스트 적용
• 거버넌스 적용

사용자가 프롬프트나 요청을 제공하면 에이전트는 자신의 추론 역량을 사용하여 의도를 해석합니다. 에이전트는 필요한 데이터 자산, 거버넌스 규칙, 의미적 고려 사항, 검증 절차, 운영 단계를 포함하는 계획을 수립합니다. 그다음 다른 에이전트가 각자의 영역에서 이 계획을 평가하며, 작업이 시작되기 전에 필요한 모델, 비즈니스 규칙, 데이터 계보, 의존성, 카탈로그 메타데이터를 확인합니다.

이러한 오케스트레이션은 데이터 라이프사이클 전반에서 팀이 수작업으로 프로세스를 연결해야 하는 필요성을 크게 줄이고, 분석을 위한 데이터 확보 시간을 단축하며 데이터 운영을 비즈니스 의도에 맞게 정렬합니다. 에이전트는 또한 모호한 부분을 드러내고 가정을 검증하며, 데이터 전략과 거버넌스 정책을 제안된 계획에 직접 반영할 수 있습니다.

다음으로 AI 에이전트는 계획에 정의된 작업을 수행합니다. 에이전트는 여러 시스템에서 데이터를 접근하고 해석하며, 거버넌스와 품질 검사를 적용하고, 스토리지 동작을 관리하며, 데이터 처리 단계를 실행하고, 다운스트림 사용을 위한 결과를 준비합니다. 에이전트는 또한 비용이나 지연을 기준으로 최적화를 수행하고, 시스템 장애가 발생하면 운영을 조정하며, 데이터 에코시스템 전반의 의존 관계를 매핑할 수 있습니다.

이처럼 많은 요소가 동시에 작동하는 환경에서 AI 에이전트는 스키마가 변경되거나 워크로드가 변해도 데이터 운영이 신뢰성을 유지하도록 지원합니다. 또한 데이터 라이프사이클 전반에서 반복적이고 시간이 많이 드는 작업을 줄이고, 기업 데이터 이니셔티브의 확장성을 향상시킵니다.

기존 메타데이터 시스템은 필드, 형식, 스키마 정의를 캡처하여 데이터 구조를 설명합니다. 반면 벡터 데이터베이스는 데이터 요소 간 관계와 사용되는 컨텍스트를 표현함으로써 의미를 포착하는 의미 계층으로 작동할 수 있습니다. 하나는 형태를 설명하고, 다른 하나는 그 의미적 맥락을 드러냅니다.

벡터 데이터베이스는 지표, 데이터 세트, 비즈니스 용어를 수학적 벡터로 표현하는 임베딩을 저장합니다. 이를 통해 에이전틱 시스템은 스키마가 동일하게 유지되더라도 유사성을 측정하고 의미적 관계를 파악하며 의미 변화까지 감지할 수 있습니다.

의미 계층은 다음을 지원합니다.

• 컨텍스트 인식 변환
• 이상 탐지
• 의미 드리프트 탐지
• 비즈니스 규칙 검증
• 데이터 카탈로그 전반의 정렬

효과적인 거버넌스는 에이전틱 데이터 관리의 기반입니다. 이러한 시스템은 수동 검토에 의존하는 대신 데이터가 수명 주기를 따라 이동하는 동안 정책, 품질 및 보안 제어를 지속적으로 적용합니다. 검증 규칙과 무결성 보호 장치는 실행 과정에서 적용되어 결과가 기업 데이터 에코시스템 전반에서 정확하고 신뢰할 수 있도록 보장합니다.

일부 조직은 파이프라인의 동작과 상태를 실시간으로 모니터링하기 위해 경량 “가디언” 에이전트(파이프라인의 상태와 동작을 실시간으로 감시하는 소형 감독 에이전트)를 배포하기도 하며, 이를 통해 다운스트림 워크플로에 영향을 미치기 전에 문제를 감지하고 드러낼 수 있습니다. 이러한 추가 감독은 자동화된 파이프라인을 빠르고 안정적으로 유지하고 기업 데이터 관리 표준과의 정렬을 유지하는 데 도움을 줍니다.

이러한 구성 요소는 인간의 의도, LLM 기반 계획 수립, AI가 오케스트레이션하는 실행, 지속적인 검증을 결합한 폐쇄형 루프 워크플로로 함께 작동합니다. 일반적인 상호 작용은 다음과 같습니다.

1. 사용자가 의도를 표현합니다: “CRM과 공급망 데이터를 결합하고 이상 징후를 탐지하세요.”와 같은 자연어 지시를 제공합니다.
   
2. 계획이 수립됩니다: LLM 기반 계획 에이전트가 지시를 분석하고 관련 데이터 세트를 식별하며 거버넌스 정책과 데이터 전략에 정렬된 실행 전략을 생성합니다.
3. 계획이 실행됩니다: 전용 에이전트가 시스템에 연결하여 웨어하우스와 API에서 데이터를 가져오고 스키마를 조정하며 변환을 적용하고 결과를 검증하며 속성을 강화하는 작업을 모두 실시간으로 수행합니다.
4. 시스템은 실행되는 동안 가드레일을 적용합니다: 각 단계에서 데이터 거버넌스 정책과 의미적 검사가 자동으로 적용됩니다. 감독 로직(가드레일을 평가하고 적용하는 에이전트 계층)은 활동을 실시간으로 모니터링하고 표준을 위반하는 작업을 차단합니다.
5. 워크플로는 변화에 적응합니다: 스키마가 변경되거나 종속성이 깨지거나 비즈니스 정의가 발전하면 시스템은 단계를 다시 계획하고 오케스트레이션 패턴을 조정합니다.

종종 경쟁 접근 방식으로 설명되지만, 에이전틱 데이터 관리는 이를 더 동적으로 만들어 마스터 데이터 관리(MDM)를 실제로 강화합니다.

MDM은 기업 엔티티를 정의하고 거버넌스 규칙을 수립하며 기준 시스템 전반에서 일관성을 유지합니다. 이는 다양한 소스의 데이터를 통합하는 단일 신뢰할 수 있는 단일 소스인 “골든 레코드”를 생성하는 데 도움이 되어, 조직 내 모든 구성원이 동일한 정보를 기반으로 작업할 수 있도록 합니다.

ADM은 데이터가 이동하는 동안 이러한 기반을 검증하고 전체 데이터 프로그램에 적용하며 조건이 변할 때 이에 적응함으로써 이를 운영에 적용합니다.

이 두 접근 방식은 몇 가지 중요한 측면에서 차이가 있습니다.

마찰이 거의 없는 실시간 비즈니스 시대에 데이터 관리는 경직된 규칙 기반 워크플로에서 적응형 의도 기반 동작으로 변화하고 있습니다. AI, 데이터 준비도 및 운영 모델 전반에 걸친 IBM 연구는 이 새로운 데이터 관리 환경을 형성하는 세 가지 주요 변화를 제시합니다.

에이전틱 AI는 워크플로를 정적인 스크립트를 넘어 적응형 컨텍스트 인식 동작으로 확장합니다. 파이프라인은 메타데이터, 비즈니스 규칙, 운영 부하 및 거버넌스 제약의 변화에 대응하여 조건이 변경될 때 중단되는 대신 실행 경로를 변경합니다.

이러한 에이전틱 아키텍처에서는 멀티 에이전트 시스템이 모놀리식 플랫폼을 대체합니다: 전문화된 에이전트가 수집, 품질, 데이터 계보 또는 최적화를 처리하고 감독 에이전트는 의도와 정책과의 정렬을 유지합니다.

AI 준비 데이터는 스키마의 정확성뿐 아니라 의미적 일관성에도 의존합니다. 오늘날 데이터 품질 문제는 종종 스키마 변경에서 비롯되지만, 미래의 문제는 구조적 변화 없이 비즈니스 의미가 진화하는 시맨틱 변경에서 발생할 것입니다. 고객 세그먼트가 변화하거나 제품 계층 구조가 발전함에 따라 에이전틱 시스템은 형식뿐 아니라 의미의 불일치도 포착해야 합니다.

의미적 메모리, 벡터 이해, 컨텍스트 인식 검증은 신뢰할 수 있는 AI 준비 데이터를 유지하는 데 점점 더 필수적인 요소가 되고 있습니다.

에이전틱 운영 모델이 성숙해짐에 따라 데이터 엔지니어는 변환을 직접 코딩하는 작업에서 자율 시스템을 감독하는 역할로 전환합니다. 이는 가드레일을 설계하고 에이전트의 결정을 검토하며 발생하는 새로운 엣지 케이스를 해결하는 것을 의미합니다.

이러한 변화로 인해 모델에서 설명 가능성이 핵심 요소가 됩니다: 추론 추적, 감사 가능한 로그, 그리고 휴먼 인 더 루프 체크포인트가 신뢰와 규정 준수를 위해 필수 요소가 됩니다.