텍스트 요약이란 무엇인가요?

자동 텍스트 요약 (또는 문서 요약)은 하나 이상의 입력 텍스트 문서의 정보를 원본 아웃풋 텍스트로 압축하는 자연어 처리(NLP) 방법입니다. 입력 텍스트가 아웃풋에 얼마나 나타나는지는 논란이 있습니다. 10%만 표시된다는 정의도 있고, 50%만 표시된다는 정의도 있습니다.¹ 텍스트 요약 알고리즘은 딥 러닝 아키텍처, 특히 트랜스포머를 사용하여 문서를 파싱하고 텍스트 요약을 생성하는 경우가 많습니다.

요약에는 추출형 요약과 추상형 요약이라는 두 가지 주요 유형이 있습니다.

추출형 요약은 원본 텍스트 문서에서 수정되지 않은 문장을 추출합니다. 추출 알고리즘 간의 주요 차이점은 주제 중복을 줄이면서 문장 중요도를 매기는 방법입니다. 문장 점수의 차이에 따라 추출할 문장과 유지할 문장이 결정됩니다.

추상형 요약은 원본 텍스트 문서에 없는 문장을 사용하여 원본 요약을 생성합니다. 이러한 생성에는 의미론적으로 의미 있는 텍스트 시퀀스를 생성하기 위해 신경망과 대규모 언어 모델(LLM)이 필요합니다.

짐작할 수 있듯이 추상형 텍스트 요약은 추출형보다 계산 비용이 더 많이 들기 때문에 인공 지능 및 생성형 시스템에 대한 더 전문적인 이해가 필요합니다. 물론 추출형 텍스트 요약은 GPT, BERT, BART와 같은 신경망 트랜스포머를 사용하여 요약을 생성할 수도 있습니다. 그렇지만 추출형 접근 방식에는 신경망이 필요하지 않습니다.²

추출형 기법과 추상형 기법에 대한 비교 평가는 엇갈린 결과를 보입니다. 예를 들어, 일부 연구에 따르면 추상형 요약이 할루시네이션, 즉 오해의 소지가 있거나 사실과 다른 정보를 제공하기 쉽다고 합니다.³ 그러나 추가 연구에 따르면 추상형 할루시네이션이 실제로는 요약 소스 자료 자체에서 파생된 세계 지식과 일치한다고 합니다.⁴ 추출형 기법과 추상형 기법을 비교한 다른 연구에서도 각각의 장점이 있음을 알 수 있습니다. 인간 사용자는 추상형 요약이 더 일관성이 있다고 생각하면서도 추출형 요약이 더 유익하고 관련성이 높다고 생각합니다.⁵ 또한 연구에 따르면 텍스트 주제의 논쟁성이 사용자가 각 요약 유형을 보는 방식에 영향을 미친다고 합니다.⁶ 따라서 이러한 요약 유형 간에 직접적인 일대일 평가 비교는 불가능할 수 있습니다.

다른 NLP 작업과 마찬가지로 텍스트 요약도 먼저 텍스트 데이터를 전처리해야 합니다. 여기에는 토큰화, 불용어 제거, 형태소 분석 또는 표제어 추출이 포함되어 머신 러닝 모델이 데이터 세트를 읽을 수 있도록 합니다. 전처리 후 모든 추출 텍스트 요약 방법은 표현, 문장 채점, 문장 선택이라는 세 가지 일반적이고 독립적인 단계를 따릅니다.

표현 단계에서는 알고리즘이 비교를 위해 사전 처리된 텍스트 데이터를 세그먼트화하여 표현합니다. 이러한 표현의 대부분은 단어 또는 문장과 같은 텍스트 세그먼트를 벡터 공간의 데이터 포인트로 나타내는 Bag of words 모델을 기반으로 구축됩니다. 대규모 다중 문서 데이터 세트에서는 텍스트 집합 내에서 각 용어의 중요도를 반영하기 위해 가중치를 부여하는 단어 가방의 변형인 용어 빈도 역 문서 빈도(TF-IDF)를 사용합니다. LSA(Latent Semantic Analysis)와 같은 주제 모델링 툴은 문서 전체에 가중치가 부여된 요약 키워드 그룹을 생성하는 또 다른 표현 방법입니다. LexRank 및 TextRank와 같은 다른 알고리즘은 그래프를 사용합니다. 이러한 그래프 기반 접근 방식은 의미적 유사성 점수에 따라 선으로 연결된 노드(또는 정점)로 문장을 표현합니다. 알고리즘은 의미적 유사성을 어떻게 측정하나요?⁷

문장 채점은 이름 그대로 텍스트의 각 문장이 해당 텍스트에서 차지하는 중요도에 따라 점수를 매기는 것입니다. 표현 방식에 따라 채점 방식이 다릅니다. 표현 방식에 따라 채점 방식이 다릅니다. 예를 들어 주제 표현 방식은 각 문장이 주요 주제를 개별적으로 표현하거나 결합하는 정도에 따라 점수를 매깁니다. 좀 더 구체적으로 말하자면 여기에는 주제 키워드의 공동 빈도에 따라 문장에 가중치를 부여하는 방식이 포함될 수 있습니다. 그래프 기반 접근 방식은 문장의 중심성을 계산합니다. 이러한 알고리즘은 TF-IDF를 사용하여 주어진 문장 노드가 벡터 공간에서 문서의 중심점으로부터 얼마나 멀리 떨어져 있는지 계산하여 중심성을 결정합니다.⁸

추출형 알고리즘의 마지막 일반적인 단계는 문장 선택입니다. 알고리즘은 중요도에 따라 문장의 가중치를 적용하여 문서 또는 문서 모음에서 가장 중요한 n개의 문장을 선택합니다. 생성된 요약은 이러한 문장으로 구성됩니다. 그러나 이러한 문장 사이에 의미적, 주제적 중복이 있다면 어떨까요? 문장 선택 단계는 최종 요약에서 중복을 줄이는 것이 목표입니다. 최대 한계 관련성 방법은 반복적인 접근 방식을 사용합니다. 즉, 이미 선택된 문장과 해당 문장의 유사성에 따라 문장 중요도 점수를 다시 계산합니다. 전역 선택 방법은 가장 중요한 문장의 하위 집합을 선택하여 전체 중요도를 최대화하고 중복을 줄입니다.⁹

이 개요에서 알 수 있듯이, 추출형 텍스트 요약은 궁극적으로 텍스트(그리고 대부분의 경우 문장)의 순위 문제입니다. 추출형 텍스트 요약 기법은 문서와 그 테스트 문자열(샘플, 문장)의 순위를 매기거나 주어진 텍스트에서 식별된 중심 주제와 가장 잘 일치하는 요약을 생성합니다. 이러한 방식으로 추출형 요약은 정보 검색의 한 형태로 이해될 수 있습니다.¹⁰

앞서 설명한 대로 추상형 텍스트 요약 기법은 신경망을 사용하여 하나 이상의 문서를 요약하는 원본 텍스트를 생성합니다. 추상형 텍스트 요약 방법에는 수많은 유형이 있지만 문헌에서는 이러한 방법을 설명할 때 하나의 중요한 분류 체계를 사용하지 않습니다.¹¹ 그렇지만 이러한 다양한 방법의 일반적인 목표를 개괄적으로 살펴볼 수는 있습니다.

많은 인공 지능 애플리케이션과 마찬가지로 추상형 텍스트 요약은 궁극적으로 인간이 생성한 요약을 모방하는 것이 목표입니다. 후자의 주요 특징 중 하나는 문장 압축으로, 인간은 긴 텍스트와 문장을 짧게 요약합니다. 문장 압축에는 규칙 기반 방법과 통계적 방법이라는 두 가지 일반적인 접근 방식이 있습니다.

규칙 기반 방법은 구문 지식을 활용하여 문법적 세그먼트를 구문 분석합니다. 키워드, 구문 단서 또는 품사 레이블을 사용하여 텍스트 조각을 추출한 다음 사전 정의된 템플릿에 따라 병합하는 경우가 많습니다. 이 템플릿은 추가적인 자동화된 텍스트 분석 또는 사용자 정의 규칙에서 해제될 수 있습니다.²

통계적 접근 방식에서는 사전 학습 또는 미세 조정을 통해 얻은 모델이 어떤 문장 세그먼트를 제거할지 학습합니다. 예를 들어 트리 구문 분석기는 입력 텍스트에서 유사한 문장을 식별하여 트리 구조 전체에 걸쳐 유사한 문장을 채울 수 있습니다. 종속성 트리는 주어-술어 배열에 맞춰 단어 간의 인식된 관계에 따라 문장을 모델링하는 구조 중 하나입니다. 이 구조의 문장은 동사를 중심 노드로 하여 주어와 목적어(즉, 명사) 및 접속사가 분기될 수 있습니다. 그런 다음 추가 동사는 동사가 연결된 명사에서 분기됩니다. 텍스트가 트리 구조로 표현되면 알고리즘은 생성 네트워크에서 새 요약을 생성하는 데 사용할 일반적인 단어나 구문을 선택합니다.¹²

문장 압축에 대한 이 간략한 개요에서 알 수 있듯이 정보 융합은 추상형 요약의 또 다른 핵심 측면입니다. 사람들은 여러 구절의 정보를 단일 문장이나 구로 연결하여 문서를 요약합니다.² 이를 모방하기 위해 제안된 한 가지 접근 방식은 여러 문서 집합에 걸쳐 문장을 융합하는 것입니다. 이 접근 방식은 문서 집합에서 일반적으로 발생하는 구문을 식별하고 격자 계산이라는 기술을 통해 이를 융합하여 문법적으로 일관된 영어 요약을 생성합니다.¹³ 제안된 또 다른 방법은 신경 주제 모델을 사용하여 요약 생성을 안내하는 핵심 용어를 생성하는 것입니다. 이 접근 방식에서는 여러 문서에서 요점을 다루는 일반적으로 발생하는 키워드가 단일 문장 또는 그 그룹으로 결합합니다.¹⁴

추상형 텍스트 요약에서 마지막으로 고려해야 할 사항은 정보의 순서입니다. 요약된 정보가 초기 원본 문서의 순서와 반드시 동일한 순서를 따르는 것은 아닙니다. 예를 들어 사람들이 요약을 작성할 때 정보를 주제별로 정리하는 경우가 많습니다. 주제별 구성에 사용되는 한 가지 방법은 클러스터입니다. 특히, 추출된 문장은 주제별 내용에 따라 클러스터로 구성됩니다(동시 발생하는 키워드에 의해 결정됨). 이러한 맥락에서 신경 주제 모델은 정보를 주제별로 정렬하는 또 다른 잠재적인 접근 방식입니다.²

개발자는 텍스트 요약을 위해 여러 평가 메트릭을 사용합니다. 메트릭의 차이는 일반적으로 요약의 유형과 측정하려는 요약의 기능에 따라 달라집니다.

BLEU(Bilingual Evaluation Understudy)는 기계 번역에서 일반적으로 사용되는 평가 지표입니다. 이는 n 개의 단어 시퀀스(n-그램이라고 함)에 대한 실제 결과와 모델 아웃풋 간의 유사성을 측정합니다. 텍스트 요약에서 BLEU는 자동 요약의 n-그램이 사람이 생성한 요약과 얼마나 자주, 어느 정도 겹치는지 측정하여 전자의 잘못된 단어 반복을 설명합니다. 그런 다음 개별 n-그램에 대한 이러한 정밀도 점수를 사용하여 기하학적 평균 정밀도라고 하는 전체 텍스트 정밀도를 계산합니다. 이 최종 값은 0과 1 사이이며, 후자는 기계와 사람이 생성한 텍스트 요약이 완벽하게 일치함을 나타냅니다.¹⁵

ROUGE(Recall-Oriented Understudy for Gisting Evaluation)는 특히 요약 작업을 평가하기 위해 BLEU에서 파생된 것입니다. BLEU와 마찬가지로 n-그램을 사용하여 기계 요약을 사람이 생성한 요약과 비교합니다. BLEU는 기계 정밀도를 측정하지만, ROUGE는 기계의 재현률을 측정합니다. 즉, ROUGE는 자동 요약에서 발견된 사람이 생성한 요약의 n-그램 수에 따라 자동 요약의 정확도를 계산합니다. ROUGE 점수는 BLEU와 마찬가지로 0과 1 사이의 값이며, 후자는 기계와 사람이 생성한 텍스트 요약이 완벽하게 일치함을 나타냅니다.¹⁶

참고로 이러한 메트릭은 최종 요약 텍스트 아웃풋을 평가합니다. 이는 적절한 문장과 키워드를 선택하여 최종 요약 아웃풋을 생성하는 텍스트 요약 알고리즘에서 사용되는 수많은 문장 채점 방법과는 다릅니다.

여러 라이브러리를 통해 사용자는 Python에서 텍스트 요약 툴을 쉽게 구현할 수 있습니다. 예를 들어 HuggingFace Transformers Library에는 텍스트 요약을 생성하기 위한 인코더-디코더 트랜스포머 아키텍처인 BART가 탑재되어 있습니다. OneAI의 언어 기술 API는 또한 텍스트 요약을 쉽게 생성할 수 있는 툴을 제공합니다.

텍스트 요약의 가장 확실한 활용 분야는 신속한 연구입니다. 이는 법률, 학술, 마케팅 등 다양한 분야에서 잠재적으로 활용될 수 있습니다. 그러나 연구자들은 텍스트 요약 트렌스포머가 추가적인 작업을 어떻게 발전시킬 수 있는지 보여줍니다.

뉴스 뉴스 기사는 텍스트 요약 기법을 테스트하고 비교하기 위한 일반적인 데이터 세트입니다. 그러나 요약이 항상 최종 목표는 아닙니다. 몇몇 연구에서는 가짜 뉴스 탐지 모델을 강화하기 위한 특징 추출 모드로서 트랜스포머 파생 텍스트 요약의 역할을 조사합니다.¹⁷ 이 연구는 유망한 잠재력을 보여주며, 텍스트 요약이 단순히 여러 텍스트를 읽는 시간을 절약하는 것보다 더 광범위한 용도로 도입되는 방법을 설명합니다.

번역 교차 언어 요약은 기계 번역과 겹치는 텍스트 요약의 한 분야입니다. 물론 요약이나 번역 자체만큼 큰 연구 분야는 아닙니다. 그런데도 출발 언어 텍스트 또는 텍스트 모음을 다른 도착 언어로 요약하는 것은 여러 가지 새로운 과제를 제기합니다.¹⁸ 한 출판물은 역사 문헌을 이용한 언어 간 요약을 탐구합니다. 이 작업에서는 역사적 언어 변형(예: 고대 중국어와 현대 중국어 또는 고대 그리스어와 현대 그리스어)을 별개의 언어로 취급합니다. 이 특정 실험에서는 추출형 및 추상형 요약과 전이 학습 방법과 함께 단어 임베딩을 사용하여 고대 언어 문서의 현대적 요약을 생성합니다.¹⁹