자동화의 기술: 3장 – 지능형 문서 처리

• 문서 처리 분야에서의 AI 부상
• 지능형 문서 처리는 중요한 비즈니스 데이터를 자동으로 추출해 더 빠르고 정확한 의사결정을 가능하게 하고 업무 성과를 높이도록 설계되었습니다.
• 지능형 문서 처리의 세 가지 사례
• IBM 및 지능형 문서 처리

자동화의 기술: 목차

디지털 콘텐츠가 폭발적으로 늘어나면서 문서 형식과 레이아웃이 다양해졌고, 입력 채널도 더 많아졌지만 품질이나 인식 가능 수준은 제각각입니다. 예를 들어, 승차 공유 차량 뒷좌석에서 급하게 주차 허가증을 신청하려고 공과금 고지서를 찍어야 할 수도 있습니다. 또는 재택근무 중 환자와 이메일을 주고받으며 의료 청구서를 처리해야 할 수도 있습니다. 2018년 포브스는 전 세계 데이터의 90%가 그 전 2년 동안 생성되었다고 보고했습니다. 2020년 원격근무, 원격의료, 온라인 소통 등이 폭발적으로 증가하면서 데이터 생성 속도가 얼마나 더 가속화됐는지 짐작할 수 있습니다.

디지털 콘텐츠와 입력 채널 증가에 더해, 기존 문서 캡처 기술은 더 이상 확장성을 제공하지 못합니다. 예를 들어, 특정 문서 형식이나 유사 문서를 정확히 인식하기 위해 ‘지문(fingerprint) 기능’을 사용해 인식 구역과 위치 정보를 지정하곤 했습니다. 하지만 새로운 프로그램이나 B2B 관계에서 문서 형식이 계속 늘어나면서 이를 설정하는 데 시간이 들고, 이는 본래의 비즈니스·경제·사회 복지 업무를 방해하게 됩니다. 또한 머리말이나 바코드 같은 구분지 방식은 모바일, 이메일, 온라인 양식 등 다양한 채널에서 문서가 들어오는 환경에서는 효과적이지 않습니다.

결국 기업들은 문서를 수작업으로 처리하는 데 점점 더 많은 시간을 쓰고 있으며, 이는 단순히 팩스 화질 문제 때문만은 아닙니다. 2019년 Levvel Research 조사에 따르면, 청구서 데이터의 57%가 수작업으로 입력되며, 승인 과정의 49%는 2~3명의 승인자가 필요했습니다.

인공 지능(AI) 자체는 새로운 기술이 아니지만, 반정형·비정형 문서를 처리하는 데 성공적으로 활용하기는 어려웠습니다. AI를 사용하려면 높은 수준의 데이터 과학 역량과 수천 개의 샘플 문서가 필요했습니다. 이 때문에 문서를 수집하고 데이터를 준비하는 데 긴 시간이 필요해 비즈니스 효과를 얻기까지 많은 지연이 발생했습니다.

하지만 AI 기술의 발전과 간단한 툴의 등장으로 문서 처리 분야에서의 AI 적용이 빨라지고 있습니다. 첫째, 인간의 사고 방식을 모방하는 딥러닝 알고리즘이 등장했습니다. 이 알고리즘은 문서처럼 비정형 데이터의 문맥적 패턴을 인식하고, 처음 보는 데이터에도 학습을 적용할 수 있습니다. 이를 전이 학습이라고 합니다. 이 과정은 문서 수집 부담과 긴 학습 시간을 크게 줄여 줍니다. 둘째, 단계별 가이드가 포함된 노코드 툴 덕분에 비즈니스 사용자가 직접 AI 모델을 학습시키고 데이터 출력 형식을 만들며 위험 허용 범위도 쉽게 설정할 수 있게 되었습니다.

지능형 문서 처리의 구현 및 AI 모델 사용은 공급업체마다 다를 수 있지만 핵심 활동은 동일하게 유지됩니다.

1. 문서 분류
2. 데이터 추출
3. 데이터 아웃풋

첫 번째는 문서 분류로, 청구서나 세금 양식처럼 문서 종류를 식별하는 과정입니다. 샘플 문서 세트를 사용해 서로 다른 문서 유형과 그 문서 유형에 해당하는 필드 및 값을 AI 분류 모델에 학습시킬 수 있습니다. 이 활동은 데이터 추출의 다음 활동에 공급될 뿐만 아니라 다른 유사한 문서 유형에 대한 전이 학습을 가능하게 하고 콘텐츠 저장소 내에서 문서를 더 잘 검색할 수 있도록 합니다.

다음으로 지능형 데이터 추출은 페이지에서 중요하고 관련성 있는 정보를 추출하는 핵심 활동입니다. 이 작업에는 계정 번호나 청구 금액처럼 키-값 쌍을 식별하고, 데이터 형식과 페이지 내 위치를 정의하며, 문서 유형별로 필요한 정보를 학습하도록 AI 모델을 훈련하는 과정이 포함됩니다. 이 단계에서는 나중에 쉽게 검색할 수 있도록 메타데이터를 추출하고 문서와 연결할 수도 있습니다.

마지막으로, 데이터 아웃풋은 추출된 데이터를 풍부하게 하고 다운스트림에서 사용할 최종 출력 파일을 만드는 것으로 구성됩니다. AI 기반 모델은 일반적인 맞춤법 오류를 자동으로 교정하고, 데이터를 표준 출력 형식(예: 전화번호)으로 변환하며, 데이터가 일관되게 보이도록 형식을 맞추는 역할도 할 수 있습니다(예: 금액 값을 소수점 둘째 자리까지 표시). 마지막 단계는 아웃풋 파일(일반적으로 JSON 파일)을 만든 다음 워크플로에 피드하거나 나중에 사용할 수 있도록 콘텐츠 저장소로 푸시하는 것입니다.

지능형 문서 처리의 주요 수혜자는 이미 검증된 구조화된 데이터를 트랜잭션에 입력하여 더 빠른 처리와 확장 가능한 운영을 가능하게 하는 프로세스 자동화입니다. 예를 들어, 이전에는 워크플로, 데이터 입력 및 데이터 검증을 수동으로 설정하는 데 인간 작업자가 몇 시간이 걸렸을 수 있습니다. 지능형 문서 처리와 워크플로를 통합하면 이러한 수동 단계를 제거할 수 있으며 데이터 아웃풋을 비즈니스 프로세스에 자동으로 푸시할 수 있습니다. 마찬가지로, 로보틱 프로세스 자동화(RPA) 봇에 잘못된 데이터가 입력되면 다음 단계에 문제가 생겨 비즈니스 프로세스의 병목 현상이나 오류가 발생할 수 있습니다. 지능형 문서 처리의 지속적인 결과물을 활용하는 RPA 봇은 조직 전체로 더 쉽게 확장할 수 있습니다. 마지막으로, 시각화 대시보드를 통해 비즈니스 사용자는 추출된 데이터 또는 비즈니스 프로세스의 병목 현상과 관련된 패턴과 인사이트를 발견할 수 있으며, 이를 통해 더 많은 정보에 입각한 의사 결정을 내릴 수 있습니다.

자동화에서 RPA의 역할에 대해 자세히 알아보려면 "자동화의 기술: 2장 - Robotic Process Automation(RPA)"를 참조하세요.

문서 처리 자동화에 대한 수요가 많다는 강력한 증거가 있으며, 인공 지능(AI)과 로우코드 툴을 결합하면 조직이 직원 생산성을 개선하고 비즈니스 성과를 높일 수 있습니다. 

실제로 IBM 고객과 협력하면서 지능형 문서 처리를 적용할 수 있는 여러 사용 사례를 발견했습니다. 아래에서 세 가지 사용 사례 예와 조직이 실현할 수 있는 잠재적 이점을 살펴보겠습니다.

• 보험: 계좌 개설 및 서비스, 개인 및 상업 청구 처리
• 정부: 사회 복지 등록 및 자격, 연금 및 퇴직 계획, 허가 및 면허
• 은행업 : 계좌 개설 및 서비스, 주택담보대출/대출 애플리케이션

상업 보험을 위한 견적 및 승인 프로세스 애플리케이션

상업 보험의 견적 및 승인 프로세스는 경쟁이 매우 치열하며, 견적을 가장 먼저 응답한 회사가 비즈니스를 이기는 경우가 많습니다. 문제는 많은 보험 회사에서 이 프로세스를 수동으로 검토하고, 애플리케이션 데이터를 입력하고, 지원 문서를 읽어야 하기 때문에 경쟁하거나 확장하기 어렵다는 것입니다. 이는 기존 비즈니스를 유지하고 성장시키는 데 필요한 상담 서비스에서 직원들의 집중을 빼앗는 결과를 낳기도 합니다. 지능형 문서 처리는 딥 러닝이 포함된 AI를 사용하여 이 프로세스를 자동화하여 각 문서 유형을 읽고 분류하고 이러한 다양한 형식에서 적절한 데이터를 추출할 수 있습니다. 그런 다음 추출된 데이터를 워크플로에 연결하여 비즈니스 처리를 가속화하여 견적을 생성하고 애플리케이션을 승인할 수 있습니다.

지능형 문서 처리 적용의 세 가지 잠재적 이점은 다음과 같습니다.

1. 인력을 추가할 필요 없이 더 많은 거래를 성사시켜 수익이 증가합니다.
2. 처리 속도가 빨라져 고객 경험이 향상됩니다.
3. 기존 고객 계정을 유지하고 성장시킵니다.

소셜 서비스 등록 처리 애플리케이션

식량 지원 또는 보조금 주택과 같은 수십 개의 지방 정부 프로그램에 등록하려면 IT 팀이 필요한 솔루션을 구축할 자원이 없기 때문에 비효율적인 수동 스프레드시트 처리가 필요합니다. 비즈니스 사용자는 로우코드 툴과 지능형 문서 처리를 사용하여 간단하면서도 목적에 맞는 애플리케이션을 구축하고 등록 양식의 주요 필드를 인식하도록 시스템을 학습시킬 수 있습니다. 또한 구성하기 쉬운 유효성 검사기를 사용하면 날짜 필드와 통화 필드가 정확하게 인식되도록 할 수 있으며, 사회 보장 번호와 같은 고유한 필드를 처리하기 위해 간단한 맞춤형 유효성 검사기를 만들 수도 있습니다.

지능형 문서 처리 적용의 세 가지 잠재적 이점은 다음과 같습니다.

1. 처리 시간 단축으로 인해 프로그램 등록이 증가했습니다.
2. 개인 식별 정보에 대한 적절한 역할 기반 보기를 통해 맞춤형 자동화 솔루션을 비용 효율적으로 롤아웃합니다.
3. IT 부서의 개입이 거의 또는 전혀 없이 비즈니스 사용자가 구축합니다.

개인 뱅킹을 위한 계좌 서비스

은행은 웹사이트에서 다운로드할 수 있는 20개 이상의 다양한 계좌 서비스 양식을 보유할 수 있습니다. 계좌 소유자는 이 양식을 사용하여 계좌를 변경하거나 계좌를 폐쇄할 수 있습니다. 오늘날에는 상당한 규모의 상담원 팀이 이러한 양식을 읽고 데이터를 확인한 다음 계좌 관리 시스템에 데이터를 입력해야 할 수 있습니다. 그러나 로우코드 툴과 지능형 문서 처리를 활용하면, 은행은 각 계좌 서비스 양식을 처리하는 솔루션을 빠르게 구축할 수 있습니다. 또한 지능형 문서 처리를 통해 시스템이 고객 주소나 계좌 번호 같은 공통 필드뿐 아니라, 양식별로 고유한 필드까지도 인식하도록 학습시킬 수 있습니다.

RPA와 결합함으로써 은행은 추출된 데이터를 가져와 은행의 백엔드 시스템에 대한 변경 사항을 자동화할 수도 있습니다. 또한 지능형 문서 분류를 활용하여 계좌 폐쇄 양식에 신속하게 플래그를 지정하고 상담원에게 잠재적인 도주 위험이 있을 수 있는 고객에게 경고할 수 있습니다.

지능형 문서 처리 적용의 세 가지 잠재적 이점은 다음과 같습니다.

1. 더 빠른 응답 시간으로 고객 경험을 개선합니다.
2. 지능형 이탈 위험 식별을 통해 고객 유지율을 더욱 높일 수 있습니다.
3. 계좌별로 소매 은행 비용이 절감됩니다.

IBM의 지능형 문서 처리에 대한 접근 방식은 IBM Cloud Pak for Business Automation에서 드러납니다. 클라우드 네이티브 솔루션인 Automation Document Processing은 문서에서 데이터를 자동으로 읽고 수정하는 일련의 AI 기반 서비스입니다. 문서 처리 디자이너는 문서 분류, 데이터 추출, 데이터 보강에 대한 모델 학습을 위해 쉽게 사용할 수 있는 노코드 인터페이스를 제공합니다.

또한 IBM은 단일 페이지 문서 또는 문서의 일괄 처리를 위해 사용할 수 있는 문서 처리 애플리케이션 템플릿을 제공합니다. 애플리케이션 디자이너의 툴킷을 사용하여 최종 사용자 애플리케이션을 조직 내의 다른 애플리케이션과 같은 모양과 느낌으로 사용자 지정할 수도 있습니다. 마지막으로, IBM은 문서와 데이터 출력 파일을 모두 저장할 수 있는 간단한 배포 툴과 콘텐츠 서비스 기능인 IBM® FileNet Content Manager와의 즉시 사용 가능한 통합을 제공합니다.

이 장에서는 문서 처리가 왜 변화가 필요한 분야인지, 그리고 AI가 문서 처리 발전에 어떤 중요한 역할을 하고 있는지에 대한 개요를 다루었지만, 이 분야에는 앞으로도 더 많은 혁신이 계속될 것입니다. 특히 주시해야 할 두 가지 주요 영역이 있습니다. 첫째, 반정형 및 비정형 문서의 형식과 구조가 계속 폭발적으로 증가함에 따라 AI 모델도 이를 따라잡아야 합니다. 매우 복잡한 테이블 구조를 읽는 것부터 홀로그램이나 워터마크가 있는 정부 발급 신분증을 처리하는 것까지, AI 모델은 정확성을 유지해야 하는 과제를 안게 될 것입니다.

둘째, 이 분야는 지능형 문서 처리라고 불리지만 비디오 및 오디오 파일 형식이 증가하고 있습니다. 보험 청구 처리나 경찰 사건 보고서 제출 과정에서 이러한 파일 형식이 핵심 경로에 들어오게 되는 것은 시간 문제일 뿐입니다.

앞으로의 여정을 함께한다면, 정말 흥미로운 변화들을 보게 될 것입니다.

The Art of Automation 팟캐스트도 꼭 확인해보세요. 특히 7화에서는 제가 Jerry Cuomo와 함께 앉아 지능형 문서 처리에 대해 깊이 있게 이야기합니다