확장하는 에이전트와 멈춰있는 에이전트

모든 조직은 문제 해결사들이 필요합니다. 저는 독립 사업자에 대해 이야기하고 있습니다. 그들은 비효율적인 기업을 괴롭히는 핸드 홀딩 방식을 경멸하고 문맥을 읽을 수 있을 만큼 자신감이 넘칩니다. 소프트웨어가 이러한 유형의 인텔리전스를 보여줄 때 우리는 “제대로 작동한다”고 말합니다. 직원일 때 우리는 “그냥 이해해요”라고 말합니다. 

그리고 반대편에는 연기, 지연, 우유부단함이 있습니다. 종종 한 발 뒤처지거나 구식 정보에 근거해 행동하는 이 삐걱거리는 바퀴들은 모든 것을 멈추게 하고, 사무실 용어에서 가장 답답한 말 중 하나인 "내가 직접 할게"라는 말을 자주 이끌어냅니다. 

수백만 대의 AI 에이전트가 앞으로 몇 년 안에 개발되어 배포될 것입니다. 이 블로그를 읽고 있다면 이미 알고 계실 겁니다. IBM 기업가치연구소에 따르면, 설문 조사에 참여한 임원의 70%가 에이전트 AI가 미래 전략에 중요하다고 답했습니다.  문제는 당신이 어떤 유형의 에이전트를 출시할 것인가입니다. 문제 해결사인가, 아니면 문제 창조자인가?   

이 두 유형의 차이점은 사일로라는 익숙한 적입니다. 파일럿 시즌이라는 이상적인 조건에서 낙관주의 편향을 확인하고자 하는 유혹은 너무나도 크지만, 전사적 배포 시기에는 대기업의 복잡성으로 인해 진행이 지연됩니다.  복잡한 워크플로, 패치워크 거버넌스 및 일관되지 않은 데이터 접근은 모든 에이전트를 한 번 사용하고 나면 유지 관리 문제만 불거지는 골칫거리로 만듭니다. 즉, 생산성을 높여줘야 할 요인이 도리어 이를 크게 저하시키는 문제로 변모하는 것입니다. 그야말로 AI의 아이러니가 아닐 수 없습니다.

확장을 위해 조직은 모든 에이전트를 전체적으로 오케스트레이트하여 기존 도구와 쉽게 통합할 수 있는 일관되게 관리되는 AI 공동 작업자 명단을 만들어야 합니다. 오케스트레이션이 잘 작동하고, 프로세스가 정렬되며, 사일로가 해체되고 AI의 잠재력이 실제 결과로 전환됩니다. 하지만 오케스트레이션만으로는 AI 경쟁에서 승리할 수 없습니다. 데이터는 차별화 요소입니다. POC 테스트 케이스뿐만 아니라 모든 에이전트가 비즈니스에 능숙하고 자율적으로 행동할 수 있을 만큼 신뢰할 수 있도록 하는 것은 바로 이러한 힘입니다.

결국 일반 데이터는 경쟁사와 동일한 단조로움을 말하는 일반 AI로 이어집니다. 설상가상으로, 제대로 관리되지 않는 데이터는 AI를 인간이 할 수 있는 것보다 더 빠르고 더 멀리 오류를 퍼뜨리는 매개체로 만들 수 있습니다.  

시장이 AI를 위한 데이터 준비의 중요성을 인식하는 데 너무 오랜 시간이 걸렸습니다. 이러한 실수는 ROI를 미정으로 유지하게 했고, 수많은 통계에서 드러나며 대부분의 조직이 여전히 파일럿 시즌에 머물러 있음을 보여줍니다. 그 예로 MIT의 보고서에 따르면 실제로 설문조사에 참여한 조직 중 5%만이 AI 도구를 워크플로에 대규모로 통합했다고 합니다. 

조직이 데이터 이니셔티브에 수십억 달러를 쏟아 부으면서 현재 대대적인 수정이 진행 중입니다. IBM Institute of Business Value의 향후 설문 조사 데이터에 따르면 2025년에는 IT 예산의 약 13%가 데이터 전략에 할당되었으며, 이는 2022년의 4%에서 크게 증가한 수치입니다. 마찬가지로, 설문조사에 참여한 최고 데이터 책임자의 82%가 작년에는 없었던 직무를 채용하고 있다고 답했습니다.  

물론 목표는 비즈니스를 독특하게 만드는 신뢰할 수 있는 독점 데이터 유형을 AI에 주입하는 것입니다. 귀사 또는 귀사의 고객이 AI에 프롬프트를 입력하면 조직의 목표, 가치 및 규제 의무와 일치하는 상황에 맞는 정보를 반환해야 합니다. 에이전틱 AI는 위험을 더욱 높입니다. 에이전트를 활성화하고 의사 결정을 내리고 명확한 목표를 추구할 수 있도록 권한을 부여할 때는 에이전트가 비즈니스와 문화, 데이터를 안팎으로 알고 있다는 것을 신뢰해야 합니다. 

에이전트가 성공하려면 양질의 데이터가 필요합니다. 데이터 관리 협회에 따르면, 양질의 데이터란 정확하고, 완전하며, 일관성 있고, 시기적절하고, 고유하며, 유효한 데이터를 말합니다. IBM은 일곱 번째 데이터 품질 항목인 동질성을 추가했는데, 이는 일관된 해석을 위해 다양한 데이터를 조화시키고 의미론적 이해를 강화할 수 있도록 보장하는 품질 측정값입니다.

데이터 품질을 유지하는 것은 쉽지 않습니다. 특히 제타바이트 시대에는 더욱 그렇습니다. 수동 품질 보증은 시간이 많이 걸리고 오류가 발생하기 쉬우며, 지속적인 인력 부족으로 인해 감당할 수 없는 규모의 데이터 전문가가 필요합니다. 

조직은 데이터 레이크, 데이터 웨어하우스 및 통합 툴로 무너지는 데이터 스택을 위태롭게 구축함으로써 격차를 해소하려고 노력해 왔습니다. 패치, 대시보드, 스크립트는 더욱 불필요한 요소를 추가합니다. 임시방편적인 접근 방식은 너무 자주 기술 부채로 이어지며, 이는 끊임없이 그리고 예측할 수 없게 복잡하게 얽혀 있습니다. IT 직원이 단순한 유지 관리에만 매달리고 데이터 자산의 틈새로 생산성을 쏟아붓게 되면 혁신은 뒷전으로 밀려납니다. 

이제 어디로 가야 하나요? 

해답은 모든 데이터 소스를 연결, 강화 및 관리하고 조직의 컨텍스트와 목소리를 능숙하게 다루는 AI 에이전트의 원천 역할을 하는 데이터 계층에서 시작됩니다. 이를 기반으로 에이전트는 신뢰할 수 있는 의사 결정을 내림으로써 워크플로를 가속화하고 위험을 줄이며 대규모로 생산성을 높일 수 있습니다.

메타데이터는 해당 계층의 언어입니다. AI나 분석, 데이터 엔지니어링과 같은 보다 전통적인 워크로드에 데이터를 쉽게 사용할 수 있는 컨텍스트를 제공합니다. 하지만 수동 분류는 확장성이 떨어집니다. 자동 태그 지정은 수집 속도에 맞춰 구조를 적용하기 때문에 가능합니다. 필요할 때 인간의 감독을 받을 수 있는 기능을 통해 계통, 민감성 및 비즈니스 의미를 포착하여 위험을 줄이고 검색 및 규정 준수와 같은 다운스트림 작업을 가속화합니다. 간단히 말해, 누구도 요청하기도 전에 원시 자산을 관리할 수 있고 맥락에 맞는 지식으로 바꿔줍니다. 

맥락은 강력합니다. 궁극적으로 이는 더 정확한 AI와 더 자신감 있는 의사결정으로 이어집니다. 하지만 적절한 권한이 없는 데이터는 자산이 아니라 부담일 뿐입니다.

접근 규칙은 스프레드시트에만 있어서는 안 됩니다. 데이터와 함께 이동해야 합니다. 자산이 문서 저장소에서 레이크하우스, 그리고 파인튜 작업으로 이동함에 따라 권한도 이동해야 합니다. 정책이 정체성, 역할, 목적에 따라 적용될 때, 적절한 사람들이 적절한 시기에 올바른 데이터를 접하게 됩니다. 이 과정은 위험을 줄이고 우발적 노출을 방지하며, 규정 준수를 긴급 상황으로 번지는 것을 방지합니다.

강력한 거버넌스가 필수적이지만, 이는 방정식의 일부일 뿐입니다. 그 아래 구조가 조작이 확장될지 멈추는지를 결정합니다. 대부분의 기업은 이미 여러 클라우드와 온프레미스 환경에 걸쳐 있기 때문에 개방형 및 하이브리드 설계가 올바른 접근 방식입니다. 스토리지와 컴퓨팅을 분리하면 높은 마이그레이션 비용과 이로 인한 중단을 피할 수 있습니다. Apache Iceberg와 같은 개방형 파일 형식은 애플리케이션을 스토리지에서 분리하여 도구가 데이터가 어디에 있든 제자리에서 데이터를 읽고 쓸 수 있도록 함으로써 이를 가능하게 합니다. 또한 단일 공급업체의 데이터베이스에 종속되는 것을 방지합니다. 유연성은 사치가 아니라 우선순위가 바뀔 때 적응하지 못하는 경직된 시스템과 폭주하는 비용에 대비하는 안전장치입니다. 맥킨지의 연구에 따르면 조직의 4분의 3이 향후 몇 년 동안 오픈 파일 형식을 포함한 오픈 소스 AI 기술의 사용을 늘릴 것으로 예상하며, 그 이유로 구현 및 유지 관리 비용 절감을 꼽은 것은 당연한 결과입니다. 

비정형 데이터는 여전히 거대한 저장소입니다. 인보이스, 이메일, 로그, 이미지, 심지어 이 블로그에서도 인사이트가 시스템에 흩어져 있고 호환되지 않는 형식으로 잠겨 있으며 깔끔한 레이블이 없기 때문에 분석에 거의 반영되지 않습니다. 수동 추출은 시작 단계가 아닙니다. 여기에는 몇 시간의 인적 노력이 필요하고, 실수를 일으키고, 엔터프라이즈 규모의 데이터의 무게로 인해 붕괴가 발생합니다. 자동화는 기업 수준에서 질서를 부여할 수 있는 유일한 방법입니다. 엔티티를 식별하고, 가치를 포착하고, 비즈니스가 실제로 어떻게 말하는지, 그리고 시장에서 어떻게 보여지고 싶은지 반영하는 시맨틱을 계층화하는 것입니다. 여기에서 기계가 처리할 수 있고 인간과 AI 에이전트가 신뢰할 수 있는 스키마가 등장합니다. 

이 풍부한 데이터가 텍스트-SQL, 벡터 검색, 하이브리드 쿼리가 결합된 검색 계층으로 흐르면, 에이전트는 추측을 멈추게 됩니다. 그들은 자신감 있게 이성적으로 행동하기 시작합니다. 반면 전통적인 RAG 시스템은 맥락을 이해하는 데 어려움을 겪어 기업 규모의 추론에 적합하지 않습니다. 통합된 접근 방식은 이러한 함정을 피하고 상담원이 단호하게 행동하는 데 필요한 깊이와 정확성을 제공합니다.

구조화되지 않은 혼돈을 구조화된 명료함으로 바꾸는 것이 시작이지만, 그 명확함을 유용하게 만드는 것은 인텔리전스입니다. 인텔리전스 없이는 가장 잘 조직된 데이터도 무기력해집니다. 데이터 인텔리전스는 모든 자산에 스토리를 제공합니다. 즉, 자산이 어디에서 왔는지, 어떻게 변화했는지, 누가 책임을 지는지 알 수 있습니다. 카탈로그 작성과 데이터 계보 관리가 단순한 집안일이 아니라 신뢰의 기반이 됩니다. 품질 점수를 매기는 에이전트가 불확실한 논리를 갖추지 않도록 보장합니다. 잘 정의된 용어로 데이터 제품을 게시하면 원시 리소스를 팀이 신뢰할 수 있는 소비 가능한 서비스로 전환할 수 있습니다. 에이전트가 수치를 인용할 때 출처는 클릭 한 번으로 확인할 수 있어야 합니다. 정의가 변경되면 모든 종속 시스템은 다음 결정이 내려지기 전에 이를 알아야 합니다.

하지만 인텔리전스만으로는 충분하지 않습니다. IBM의 2024년 AI 사용 사례 보고서에 따르면 단편화된 시스템 간의 통합을 포함한 데이터 복잡성이 AI 확장의 가장 큰 장애물 중 하나인 것으로 나타났습니다. 데이터에 의존하는 에이전트 및 기타 시스템에는 일회성 통합이 아닌 지속적인 통합이 필요합니다. 통합은 데이터가 이동하면서 표준화, 강화, 관리 및 사용할 준비가 되는 방식으로 데이터가 이동하는 방식입니다. 파이프라인은 드리프트를 통해 학습하고 성능, 비용 및 품질을 최적화하면서 각 실행에 맞게 조정되어야 합니다. 관측 가능성 역시 중요합니다. 통합이 가시적이고 반응성이 뛰어나면 에이전트를 포함한 다운스트림 시스템이 조용한 오류나 오래된 로직을 전달하지 않습니다.

통합과 인텔리전스가 함께 작동하면 결과는 친숙하게 느껴집니다. 그것이 효과가 있는 것입니다. 운이 좋아서가 아니라 그 밑에 깔린 구조가 의도적이기 때문입니다. 자산을 연결하고 의미를 적용하며 에이전트 또는 기타 모든 움직임을 통해 거버넌스를 수행하는 데이터 계층은 정확성을 높이고 자신감 있는 의사 결정을 내릴 수 있도록 지원합니다. 이렇게 하면 유망한 데모를 신뢰할 수 있는 시스템으로 전환할 수 있습니다. 이렇게 해서 파일럿에서 프로덕션으로 넘어가면서 줄거리를 잃지 않는 방법이 됩니다.