흩어진 문서에서 신뢰할 수 있는 인텔리전스로: 규정을 준수하는 AI 문서 인사이트를 위한 Migrato의 하이브리드 아키텍처
Migrato는 IBM® AI와 하이브리드 클라우드 기능을 활용하여 조직이 수백만 개의 비정형 문서를 분류, 정리 및 관리할 수 있도록 지원합니다. 이를 통해 고객은 필요한 정보를 더 빠르게 찾고, 개인정보 보호 위험을 줄이며, 더 이상 필요하지 않은 콘텐츠를 마이그레이션하지 않아도 됩니다.
종이 문서를 디지털화하면 하나의 큰 문제는 해결되지만 또 다른 문제가 생깁니다. 조직은 종이 문서를 보관할 필요는 없어지지만, 여러 리포지터리에 흩어져 있는 수년 치 Word 파일, PDF, 이메일, 스캔 문서, 이미지 및 스프레드시트에 어떤 내용이 들어 있는지는 여전히 파악해야 합니다.
네덜란드에 본사를 둔 Migrato B.V.는 데이터베이스의 정형화된 행에 저장되지 않은 콘텐츠를 분석, 목록화, 정리 및 마이그레이션할 수 있도록 지원하여 조직이 비정형 데이터를 체계적으로 관리할 수 있도록 돕습니다. 이 회사의 MICC(Migrato Intelligent Content Classifier) 플랫폼은 이러한 모든 데이터를 분석하여 비정형 콘텐츠를 검색 가능하고 분류 및 관리되는 정보로 변환함으로써 직원들이 실제 업무에 활용할 수 있도록 합니다.
데이터 규모가 커질수록 상황은 빠르게 복잡해질 수 있습니다. 지방자치단체는 네트워크 드라이브, SharePoint, 레거시 문서 관리 시스템 및 비즈니스 애플리케이션 전반에 걸쳐 수 테라바이트 규모의 과거 콘텐츠를 보유하고 있을 수 있습니다.
일부 구축 환경에서는 MICC가 수백만 개의 문서를 검사해야 할 수도 있습니다. 지방자치단체 환경에서는 저장된 콘텐츠에 완전히 동일한 중복 파일, 유사 중복 파일, 오래된 파일 형식, 보관 기간이 지난 이력서, 잘못된 위치에 저장된 직원의 민감한 정보가 포함되어 있는 경우가 많습니다. 다양한 사용 사례에서 은행 계좌 번호와 기타 개인 식별 정보(PII)를 포함한 보호 대상 콘텐츠는 온프레미스 환경에 그대로 유지되어야 합니다.
이 글에서는 Migrato가 watsonx.ai를 활용하여 MICC를 하이브리드 AI 문서 인텔리전스 및 거버넌스 플랫폼으로 구축한 방법을 설명합니다. IBM® Cloud, IBM AI 및 NLP 라이브러리와 IBM® Build Labs와의 협업을 활용했습니다. 이를 통해 구축된 플랫폼은 민감한 정보를 고객이 직접 관리하는 환경에 유지하면서도 대규모 콘텐츠를 효율적으로 분류할 수 있도록 지원합니다.
언뜻 보면 문서 마이그레이션은 단순히 "A에서 B로 옮기는" 작업처럼 보입니다. 하지만 규제를 받는 조직에서는 이러한 마이그레이션이 훨씬 더 복잡합니다. 콘텐츠를 이동하기 전에 팀은 무엇을 옮겨야 하는지, 어떤 문서를 보관해야 하는지, 무엇을 삭제해야 하는지, 그리고 재사용 대상으로 선별해야 하는지를 먼저 파악해야 합니다.
이러한 과제는 지방자치단체, 정부 기관, 보험사, 은행 및 대학에서 특히 중요합니다. 이러한 조직의 직원들은 정보 공개 요청에 대응하거나, 업무 수행에 필요한 기록을 찾거나, 개인정보 보호 및 보존 규정을 준수하고 있음을 입증해야 하는 경우가 많습니다.
MICC는 키워드만 검색하는 것이 아니라 문서의 의미와 맥락을 분석할 수 있도록 지원합니다. 이 플랫폼은 의도에 따라 문서를 분류하고, 완전히 동일한 중복 문서와 유사 중복 문서를 탐지하며, 이름, 국제 은행 계좌 번호(IBAN) 및 시민 서비스 번호(네덜란드에서 사용하는 정부 발급 개인 식별 번호)와 같은 민감한 정보를 식별합니다.
이러한 가치는 일상 업무에서 분명하게 드러납니다. 예를 들어 네덜란드 정부 공개법에 따른 정보 공개 요청(WOO 요청)의 경우 직원은 여러 리포지터리에 흩어져 있는 관련 정보를 찾아야 할 수 있습니다.
MICC를 사용하면 사용자는 각 시스템을 일일이 검색하는 대신 조직이 보유한 콘텐츠를 체계적으로 파악한 상태에서 작업을 시작할 수 있습니다. 기록 관리 팀의 경우 이 플랫폼은 문서를 삭제하기 전에 반드시 담당자가 검토하도록 하면서 보관, 보존 기간 만료 또는 삭제 대상 문서를 추천할 수 있습니다.
Migrato는 고객의 민감한 콘텐츠를 고객 환경 내에 유지하는 동시에, 속도와 지능을 높일 수 있는 영역에는 확장 가능한 AI를 활용하는 두 가지 목표의 균형을 맞추도록 MICC를 설계했습니다.
아키텍처 다이어그램은 고객이 제어하는 콘텐츠, 수집, 온프레미스 처리, 선택한 IBM Cloud 서비스 및 다운스트림 시스템 출력을 분리한 하이브리드 MICC 배포 구성을 보여줍니다. 이 설계는 왼쪽에서 오른쪽으로 다음과 같이 구성됩니다.
- 엔터프라이즈 리포지터리에서 수집 계층으로 데이터를 전달
- 수집 계층에서 콘텐츠를 온프레미스 MICC 플랫폼으로 가져옴
- MICC가 문서 인텔리전스 및 거버넌스 서비스를 오케스트레이션
- 선택한 워크로드가 IBM Cloud에 안전하게 연결
- 플랫폼은 분류된 문서, 요약, 메타데이터, 민감한 데이터 표시, 중복 보고서, 보존 권장 사항, 담당자 검토 대기열 및 규정 준수 결과를 제공합니다.
첫 번째 계층에서는 MICC가 조직의 콘텐츠 소스에 연결됩니다. 문서 거버넌스는 하나의 정리된 시스템에서 시작되는 경우가 드물기 때문에 다양한 콘텐츠 소스를 지원한다는 점이 중요합니다. 대부분의 조직은 무엇을 마이그레이션하고, 보관하고, 삭제할지 결정하기 전에 기존 파일 공유, 업무 시스템 및 협업 툴 전반에 흩어져 있는 콘텐츠를 먼저 파악해야 합니다.
두 번째 계층은 수집 계층이며, 업데이트된 다이어그램에서는 이 부분을 더욱 명확하게 보여줍니다. MICC는 API, SMB 네트워크 공유 액세스, 직접 데이터베이스 연결 및 Microsoft Graph API를 통해 콘텐츠를 수집할 수 있습니다.
수집 계층에는 가져오기와 전송을 위한 기본 제공 커넥터를 포함한 MICC Import도 포함됩니다. 보안 전송에는 소스 환경에 맞는 액세스 방식(API, SMB 또는 해당되는 경우 TLS를 통한 Graph API)이 사용됩니다. 이를 통해 모든 리포지터리에 하나의 커넥터 모델을 강제로 적용하는 대신 고객의 원본 시스템 제약 조건에 맞는 방식으로 콘텐츠를 수집할 수 있습니다.
세 번째 계층은 콘텐츠 인텔리전스 및 거버넌스를 위해 온프레미스에 배포된 MICC 플랫폼입니다. MICC 내부에서는 처리 오케스트레이터가 문서 분석을 하나의 큰 작업으로 처리하는 대신 전문화된 서비스를 조율합니다. 워크플로는 광학 문자 인식(OCR)을 사용해 이미지나 문서에서 텍스트를 추출하는 단계부터 시작할 수 있습니다. 그런 다음 분류 서비스를 호출하여 송장, W7 양식 또는 보고서와 같은 문서 유형 레이블을 추가할 수 있습니다.
GDPR 탐지 서비스는 사회보장번호, 이메일 주소, 이름 및 기타 규제 대상 데이터와 같은 민감한 정보를 식별합니다. 메타데이터 및 콘텐츠 보강 서비스는 요약, 주제, 키워드와 함께 개인 식별 정보(PII) 및 보호 대상 건강 정보(PHI)를 추가합니다. 이어서 중복 탐지 서비스가 완전히 동일한 중복 문서와 유사 중복 문서를 식별합니다.
온프레미스 MICC 계층에는 MySQL Community Edition을 사용하는 메타데이터 리포지터리 데이터베이스도 포함되며, 배포 모델에 따라 로컬 환경이나 Azure 또는 IBM Cloud에 설치됩니다. MICC 웹 포털에서는 사용자가 검색, 분류 결과 검토, 보고서 실행 및 워크플로 관리 작업을 수행할 수 있습니다. 담당자 검토 및 워크플로 구성 요소를 통해 검토자는 문서가 삭제되거나 거버넌스 프로세스의 다음 단계로 진행되기 전에 탐지 결과와 보존 조치를 승인하거나 거부할 수 있습니다.
다이어그램은 MICC와 IBM Cloud 서비스 간의 안전한 TLS 연결을 보여줍니다. watsonx.ai는 문서 분류 레이블을 추가하는 분류 작업에 사용됩니다. IBM OCR은 PDF 이미지나 사진에서 텍스트를 추출합니다. IBM® AI Services는 GDPR 관련 정보, PII 및 PHI와 같은 민감한 데이터를 식별하여 GDPR 및 PII 탐지를 지원합니다. 이러한 역할 분담을 통해 MICC의 핵심 처리 환경은 온프레미스에 유지하면서도 Migrato는 특정 AI 및 OCR 기능에 IBM Cloud 서비스를 활용할 수 있습니다.
다이어그램 하단에는 배포 기반이 표시되어 있습니다. MICC는 가상 머신, Kubernetes 또는 컨테이너에서 실행할 수 있으며, 지원 애플리케이션은 로컬 Windows 플랫폼에서 Java 애플리케이션으로 구축됩니다. 데이터베이스 계층은 MySQL Community Edition을 사용하고, 스토리지는 디스크 기반 스토리지를 사용하며, 제시된 하드웨어 기준 사양은 64GB 메모리, 1TB SSD 및 다중 CPU 코어입니다.
보안, 거버넌스 및 운영은 전체 아키텍처 전반에 걸쳐 적용됩니다. MICC는 대규모 분류 및 권장 사항 생성을 자동화할 수 있지만, 민감한 콘텐츠나 최종 거버넌스 결정에 대한 고객의 통제권을 없애지는 않습니다.
가장 큰 변화는 단순 검색에서 문서 이해 중심으로 전환된다는 점입니다. 기존 검색 시스템은 특정 문구가 파일에 포함되어 있는지만 확인할 수 있습니다. MICC는 한 단계 더 나아가 문서의 유형, 포함된 민감한 정보, 유사한 버전의 존재 여부 및 적용해야 할 거버넌스 규칙까지 판단합니다.
이러한 변화는 기록 관리 팀의 운영 방식을 바꿉니다. 팀은 문서를 정리하기 전에 모든 문서를 일일이 검토하고 레이블을 지정하는 대신, AI 지원 분류를 활용해 대규모 콘텐츠 전반에 대한 권장 사항을 생성할 수 있습니다. 담당자는 계속해서 최종 의사 결정권을 유지하며 결과를 검증하고 삭제 여부를 승인합니다. 이러한 역할 분담은 AI가 규정 준수, 개인정보 보호 또는 기록 보존에 영향을 미치는 중요한 의사 결정의 최종 권한을 갖지 않으면서 반복 업무를 줄여야 하는 규제 환경에서 특히 중요합니다.
이러한 비즈니스 가치는 마이그레이션, 저장 및 수작업 검토가 필요한 콘텐츠의 양을 줄이는 데서 비롯됩니다. 예를 들어 지방자치단체가 보관하는 콘텐츠의 최대 70%는 더 이상 필요하지 않을 수 있습니다. 전체 데이터의 약 30%는 완전히 동일한 중복 데이터일 수 있으며, Word 문서, PDF 및 동일한 기록의 서명본과 같은 유사 중복 데이터가 추가로 약 10%를 차지할 수 있습니다. 오래되었거나 중복된 콘텐츠의 마이그레이션을 피하면 스토리지 증가를 억제하고, 클라우드 라이선스 부담을 줄이며, 이후 기록 정리 작업도 줄일 수 있습니다.
IBM은 다음 세 가지 방식으로 MICC를 더욱 강화합니다.
- IBM® watsonx.ai는 MICC에 문서 분류 및 요약을 위한 엔터프라이즈 AI 기능을 제공합니다.
- IBM AI 및 NLP 라이브러리는 탐지 및 콘텐츠 보강을 위한 임베드 가능한 언어 처리 기능을 제공합니다.
- IBM Cloud는 전체 고객 환경을 클라우드 전용 모델로 전환하지 않고도 선택한 워크로드를 확장 가능하게 처리할 수 있는 방식을 Migrato에 제공합니다.
수백만 건의 문서를 보유한 조직에서는 인력을 늘려 문서 거버넌스를 확장하는 방식은 지속 가능하지 않습니다. 작업은 반복적이며, 리포지터리는 여러 곳에 분산되어 있는 경우가 많고, 콘텐츠 규모가 커질수록 민감한 콘텐츠를 놓칠 위험도 함께 증가합니다.
Migrato의 MICC 플랫폼은 각 계층이 담당하는 작업을 명확하게 분리하여 이러한 과제를 해결합니다. 콘텐츠는 기본적으로 고객의 통제하에 유지됩니다. MICC는 콘텐츠 인벤토리, 분류 로직, 보존 권장 사항 및 사용자 워크플로를 관리합니다. IBM AI 기능은 언어 이해, 요약 및 분류를 지원하고, IBM Cloud는 선택된 고성능 워크로드를 처리합니다. 콘텐츠를 보존, 공개 또는 삭제할지 여부를 포함한 최종 결정은 담당자가 계속 책임집니다.
이러한 접근 방식은 최종 사용자에게 더 나은 사용 경험, 더 빠른 정보 접근, 더 적은 수작업 분류, 강화된 개인정보 보호 제어 및 더욱 체계적으로 관리되는 리포지터리를 제공합니다. 또한 기술 팀은 고객마다 기반을 새로 구축하지 않고도 다양한 산업 분야에서 방대한 문서를 보유한 여러 고객 조직을 지원할 수 있는 반복 가능한 배포 모델을 확보할 수 있습니다.
Migrato는 MICC와 IBM AI, 선택적인 IBM Cloud 처리 및 담당자 검토 기반 거버넌스를 결합하여 문서 마이그레이션을 확장 가능한 문서 인텔리전스 비즈니스로 발전시켰습니다. 그 결과, 고객과 직원이 필요한 정보를 찾고, 더 이상 필요하지 않은 콘텐츠를 제거하며, 전체 리포지터리의 통제권을 AI 계층에 넘기지 않고도 민감한 콘텐츠를 관리할 수 있도록 지원하는 강력한 플랫폼이 완성되었습니다.