요약은 긴 문서를 간결한 요약으로 압축하여 큰 작업의 핵심을 파악할 수 있는 기능입니다. 기술적 관점에서 요약은 긴 텍스트 구절 이해, 핵심 요점 및 주제 식별, 더 큰 작업의 의도를 포착하는 새로운 텍스트 생성 등 광범위한 기능이 필요한 어려운 작업입니다. 하지만 대규모 언어 모델(LLM)은 이러한 작업에 적합합니다. LLM을 사용하면 사용자가 긴 문서를 자세히 읽어야 하는 부담을 최소화하는 데 도움이 되는 솔루션을 만들 수 있습니다. 이는 생산성을 높이고 사용자가 더 긍정적인 경험을 하는 결과로 이어집니다.
아키텍처
위의 다이어그램은 요약 패턴의 두 가지 형태를 보여줍니다. 패턴의 가장 간단한 형태는 Stuff 변형이며 다음과 같은 특징이 있습니다.
- 문서 내용을 읽고 '채웁(stuffed)'니다. 즉 내용 전체를 LLM 프롬프트에 복사합니다.
- 프롬프트 템플릿은 보통 지시사항과 키워드로 내용을 ‘감싸’서 대상 모델이 요약문을 생성하도록 유도하는 데 사용됩니다.
- 훈련된 LLM에 결과물 프롬프트를 제출하면 LLM가 이에 대한 응답으로 요약을 생성합니다.
Stuff 방식은 작은 문서에는 적합하지만 LLM의 컨텍스트 창이나 문서 모듬에 비해 너무 큰 문서에는 적합하지 않습니다. 하지만 우리에겐 이러한 상황에 활용하기 좋은 Map-Reduce 버전이 있습니다. 이 버전은 Map 단계에서, Stuff 방식을 사용하여 개별 문서나 문서의 하위 섹션을 LLM 프롬프트에 채웁니다. 문서나 청크에 대해 반환된 요약이 애플리케이션에서 집계된 다음, LLM(4)에 제출되어 더 큰 작업이나 문서 세트의 전체 요약이 생성됩니다. 매핑 및 축소 단계에 동일한 LLM을 사용할 수 있지만, 주요 세부 정보를 잃지 않고 집계 요약을 생성하기 위해 축소 모델을 미세 조정해야 하는 경우가 더 많습니다.
개념적 관점에서 요약은 기계 번역 작업과 유사합니다. 즉,LLM에 긴 문서를 더 짧은 요약으로 '번역'시킵니다. 따라서 BART, T5 같은 인코더-디코더 모델이 요약 솔루션에 적합합니다. 요약에 적합한 LLM 대부분은 뉴스 기사, Wikipedia, 법률 및 과학 간행물 같은 출처에서 추출한 하나 이상의 공개적인 학습 세트를 훈련에 사용합니다. 그러나 이러한 모델이 표적화된 비즈니스 프로세스와 인풋 데이터에 대해 납득할 수준의 요약문을 생성하려면 미세 조정이 필요합니다.
복잡한 비즈니스 프로세스에서는 일반적으로 다양한 사용자 그룹을 위한 요약을 생성할 때 여러 개의 미세 조정된 모델을 사용합니다. 예를 들어 보험 청구 프로세스에서는 청구 요약과 담당자 배정, 사기 탐지 및 조사, 의료 또는 엔지니어링 컨설턴트와 같은 서비스 업체의 보고서 요약을 위해 LLM을 미세 조정해야 할 수 있습니다.
요약은 사용자가 대용량 문서를 읽고 이해해야 하는 일이 늘상 있지만, 비즈니스 프로세스 후반에 이르기 전에는 문서 내용을 깊이 이해하지 않고 있어도 되는 모든 비즈니스 시나리오에 적합한 후보 솔루션 패턴입니다.
후보 용도는 다음과 같습니다.
보험금 청구 심사. 보험 청구, 특히 복잡한 상업 및 단체 건강 보험은 제출 및 심사 과정에서 서류를 여러 번 읽어야 하는 경우가 많습니다. 보험금 청구서를 1차로 읽어서 이를 처리할 적절한 부서나 담당자를 결정합니다. 독립적인 평가 보고서를 이해해서 필요한 조치를 취하고, 적용 범위를 정하고, 사기 가능성을 평가하려면 서류를 더 자세히 읽어보아야 합니다. 글에서 유의미한 요점을 추출하는 요약 솔루션은 이 프로세스를 크게 개선할 가능성을 지녔습니다.
계약. 상업 계약은 복잡하고 이해하기 어려울 때가 많습니다. 비교적 간단한 거래라도 마찬가지입니다. 계약서의 주요 약관을 일반 언어로 요약하는 요약 솔루션은 여러 산업 분야의 사업가, 변호사, 법률사무원에게 큰 도움이 될 수 있습니다.
의료 초록. 환자 기록을 바탕으로 의학 문서 요약본을 정확하게 작성하려면 상당한 전문 지식과 노력이 필요합니다. 대량의 환자 기록에서 핵심을 추출하고 기록 코딩(ICD-10 또는 기타 진단 코딩 체계 사용)을 지원하는 요약 솔루션은 추상화 프로세스의 속도와 일관성을 모두 향상시킵니다.
제품 및 서비스 지원. 고객 지원 담당자는 고객과 지원 팀 간의 다양한 상호 작용에서 생길 수 있는 문제를 해결해야 할 때가 많습니다. 요약 솔루션은 지원 사례를 정확하게 요약하여 지원 담당자가 사례를 신속하게 파악하는 데 필요한 시간을 단축하고, 사례를 이상적으로 해결하는 데 필요한 시간을 줄여줄 수 있습니다.
요약 솔루션을 사용하려면 아키텍트가 여러 가지 중요한 판단을 통해 솔루션의 기능적, 비기능적 요건을 충족해야 합니다.
생성 모델 선택
위에서 설명한 것처럼 많은 LLM이 텍스트 요약을 '즉시' 수행할 수 있습니다. 모델에 내재된 기능이 솔루션 요건을 충족하는 경우 아키텍트는 모델의 크기(인프라 요건을 결정)와 응답 품질, 추론 속도와 같은 요소를 고려해야 합니다. 미세 조정이 필요하다면, 선택한 기본 모델을 구체적인 요건에 맞게 조정하는 데 필요한 조정 데이터의 양과 조정 프로세스의 복잡도 역시 고려해야 합니다.
평가 메트릭
생성형 AI는 그 작업의 질적 특성상 성능을 평가하는 것이 어려울 수 있습니다. 다시 말해 어떤 요약이 다른 요약보다 '나은'지 판별하기 어려운 것입니다. 일반적인 지표에는 당혹성, 유창성, 관련성, 일관성이 포함되며 BLU 및 ROUGE 지표도 포함됩니다. 아키텍트는 솔루션의 기능 요건과 전체적인 사업 목표에 맞는 지표를 선택하는 것이 중요합니다.