명명된 엔티티 인식이란 무엇인가요?

이러한 카테고리에는 개인, 조직, 장소, 시간, 수량, 의료 코드, 금전적 가치와 백분율 등의 표현이 포함될 수 있지만, 이에 국한되지는 않습니다. 기본적으로 NER은 텍스트 문자열(예: 문장, 단락 또는 전체 문서)을 가져와서, 각 카테고리를 지칭하는 엔티티를 식별하고 분류하는 프로세스입니다.

제6차 메시지 이해 컨퍼런스(MUC-6)에서 "NER"이라는 용어가 처음 사용되었을 때, 목표는 대량의 비정형 텍스트를 처리하고 주요 정보를 식별하는 정보 추출 작업을 간소화하는 것이었습니다. 그 이후로 NER은 머신 러닝과 딥 러닝 기술의 발전에 힘입어 확장되고 발전해 왔습니다.

2019년 설문 조사에 따르면 약 64%의 기업이 내부 리소스의 정형 데이터에 의존하고 있지만, 18% 미만의 기업이 비즈니스 의사 결정을 내리기 위해 비정형 데이터 및 소셜 미디어 댓글을 활용하고 있습니다¹.

비정형 데이터 추출을 위해 NER을 활용하는 조직은 다양한 접근 방식에 의존하지만, 대부분은 규칙 기반 접근 방식, 머신 러닝 접근 방식 및 하이브리드 접근 방식의 3가지 카테고리에 속합니다.

• 규칙 기반 접근 방식은 언어의 문법에 대한 일련의 규칙을 만드는 것을 포함합니다. 그런 다음, 해당 규칙을 사용하여 구조적 및 문법적 특징을 기반으로 텍스트 내의 엔티티를 식별합니다. 이러한 방법은 시간이 오래 걸릴 수 있으며, 미학습 데이터에는 잘 일반화되지 않을 수 있습니다.

• 머신 러닝 접근 방식에는 조건부 랜덤 필드 및 최대 엔트로피(두 가지 유형의 복잡한 통계 언어 모델)와 같은 알고리즘을 사용하여, 라벨이 지정된 데이터 세트에서 AI 기반 머신 러닝 모델을 학습하는 것이 포함됩니다. 이용되는 기술은 기존의 머신 러닝 방법(예: 의사 결정 트리 및 서포트 벡터 머신)부터 더 복잡한 딥 러닝 접근 방식(예: 순환 신경망(RNN) 및 트랜스포머)까지 다양합니다. 이러한 방법은 미학습 데이터에는 더 잘 일반화될 수 있지만, 라벨이 지정된 학습 데이터가 많이 필요하고 계산 비용이 많이 들 수 있습니다.

• 하이브리드 접근 방식은 규칙 기반 방법과 머신 러닝 방법을 결합하여 이 두 방법의 장점을 모두 활용합니다. 규칙 기반 시스템을 사용하여 인식하기 쉬운 엔티티를 빠르게 식별하고. 머신 러닝 시스템을 사용하여 더 복잡한 엔티티를 식별할 수 있습니다.

NER이 시작된 이래로 몇 가지 중요한 방법론적 발전이 있었으며, 특히 딥 러닝 기반 기술에 의존하는 발전이 있었습니다. 최신 버전에는 다음이 포함됩니다.

• 순환 신경망(RNN) 및 장단기 기억(LSTM). RNN은 시퀀스 예측 문제를 위해 설계된 신경망의 일종입니다. 특별한 종류의 RNN에 해당하는 LSTM은 장시간에 걸친 패턴을 인식하고 긴 시퀀스에 걸친 정보를 "기억"에 유지하는 방법을 학습할 수 있으므로, 컨텍스트를 이해하고 엔티티를 식별하는 데 특히 유용합니다.

• 조건부 랜덤 필드(CRF). CRF는 NER 작업을 위해 LSTM과 함께 사용되는 경우가 많습니다. 이 모델들은 개별 라벨뿐만 아니라 라벨의 전체 시퀀스에 대한 조건부 확률을 모델링할 수 있으므로 단어의 라벨이 주변 단어의 라벨에 따라 달라지는 작업에 유용합니다.

• 트랜스포머 및 BERT. 트랜스포머 네트워크, 특히 트랜스포머의 양방향 인코더 표현(BERT) 모델은 NER에 큰 영향을 미쳤습니다. BERT는 서로 다른 단어의 중요성을 평가하는 자기 주의 메커니즘을 사용하여 단어의 앞뒤에 오는 단어를 살펴봄으로써 단어의 전체 컨텍스트를 설명합니다.

NER의 첫 번째 단계는 주석이 달린 텍스트의 데이터 세트를 집계하는 것입니다. 데이터 세트에는 명명된 엔터티에 라벨이 지정되거나 표시되어 해당 유형을 나타내는 텍스트의 예가 포함되어야 합니다. 주석은 수동으로 또는 자동화된 방법을 사용하여 수행할 수 있습니다.

데이터 세트가 수집되면 텍스트를 정리하고 형식을 지정해야 합니다. 불필요한 문자를 제거하거나, 텍스트를 정규화하거나, 텍스트를 문장 또는 토큰으로 분할해야 할 수 있습니다.

이 단계에서는 사전 처리된 텍스트에서 관련 특징을 추출합니다. 이러한 기능에는 품사 태깅(POS 태깅), 단어 임베딩, 컨텍스트 정보 등이 포함될 수 있습니다. 기능 선택은 조직이 사용하는 특정 NER 모델에 따라 달라집니다.

다음 단계는 주석이 달린 데이터 세트와 추출된 특징을 사용하여 머신 러닝 또는 딥 러닝 모델을 학습시키는 것입니다. 이 모델은 텍스트 내 단어 간의 패턴과 관계뿐만 아니라, 그에 해당하는 명명된 엔티티 라벨을 식별하는 방법을 학습합니다.

NER 모델을 학습시킨 후에는 해당 모델은 그 성능을 가늠하기 위해 평가되어야 합니다. 모델이 명명된 엔티티를 얼마나 정확하게 식별하고 분류하는지를 나타내는 정밀도, 재현율 및 F1 점수와 같은 메트릭을 측정할 수 있습니다.

평가 결과에 따라 모델을 구체화하여 성능을 향상시킵니다. 여기에는 하이퍼매개변수 조정, 학습 데이터 수정 및/또는 고급 기술(예: 앙상블 또는 도메인 적응) 사용이 포함될 수 있습니다.

이 단계에서는 새로운 미학습 텍스트에 대한 추론에 모델을 사용할 수 있습니다. 모델은 입력 텍스트를 가져와서 전처리 단계를 적용하고, 관련 특징을 추출하여 궁극적으로 텍스트의 각 토큰이나 구간에 대해 명명된 엔티티 라벨을 예측합니다.

NER 모델의 출력은 결과를 구체화하고/하거나 컨텍스트 정보를 추가하기 위해 후처리 단계를 거쳐야 할 수 있습니다. 추가 보강을 위해 명명된 엔티티를 지식 기반이나 데이터베이스에 연결하는 엔티티 연결과 같은 작업을 완료해야 할 수도 있습니다.

Named Entity Recognition 시스템을 구현하는 가장 쉬운 방법은 애플리케이션 프로그래밍 인터페이스(API)를 사용하는 것입니다. NER API는 NER 기능에 대한 액세스를 제공하는 웹 기반 또는 로컬 인터페이스입니다. NER API의 몇 가지 인기 있는 예는 다음과 같습니다.

NLTK는 인간 언어 데이터를 처리하는 Python 프로그램을 구축하기 위한 선도적인 오픈 소스 플랫폼입니다. 이는 100개 이상의 훈련된 추출 모델을 위한 사용하기 쉬운 인터페이스를 제공합니다². 또한 분류, 토큰화, 형태소 분석, 태깅, 구문 분석 및 의미론적 추론을 위한 텍스트 처리 라이브러리도 포함되어 있습니다. NLKT에는 ne_chunk라고 하는 명명된 엔터티를 인식하는 자체 분류자가 있지만 Python에서 Stanford NER 태거를 사용하기 위한 래퍼도 제공합니다.

스탠포드 대학교에서 개발한 Stanford NER은 표준 엔티티 추출 라이브러리로 널리 간주되는 Java 구현입니다. CRF를 기반으로 하며 명명된 개체를 추출하기 위한 사전 학습된 모델을 제공합니다.

Python으로 작성되었으며 속도와 사용자 친화성으로 유명한 SpaCy는 고급 NLP를 위한 오픈 소스 소프트웨어 라이브러리입니다. 최신 연구를 기반으로 제작되었으며 실제 제품과 함께 사용하도록 설계되었습니다. 또한 사용자가 맞춤형 NER 추출기를 구축할 수 있는 고급 통계 시스템도 갖추고 있습니다.

기술이 계속 발전함에 따라 NER 시스템은 더욱 보편화되어, 조직이 매일 접하는 데이터를 이해하는 데 도움이 될 것입니다. 지금까지 의료와 금융부터 고객 서비스와 사이버 보안에 이르기까지 여러 부문에서 그 유용성이 입증되었습니다.

가장 영향력 있는 사용 사례의 일부는 다음과 같습니다.

NER은 시작된 이래로 혁신적인 기술을 통합하고 그 과정에서 유용성을 크게 확장하면서 많은 진전을 이루었습니다. 그러나 NER 기술을 평가할 때 고려해야 할 몇 가지 주목할 만한 어려움이 있습니다.

NER은 영어와 같은 언어에서 많은 발전을 이루었지만 다른 언어에서는 동일한 수준의 정확도를 제공하지 않습니다. 이는 이러한 언어로 라벨이 지정된 데이터가 부족하기 때문인 경우가 많습니다. 한 언어에서 다른 언어로 지식을 전달하는 것과 관련된 교차 언어 NER은 NET 언어 격차를 해소하는 데 도움이 될 수 있는 활발한 연구 영역입니다.

경우에 따라 엔티티가 다른 엔티티 내에 중첩될 수도 있으며, 이러한 중첩된 엔티티를 인식하는 것은 어려울 수 있습니다. 예를 들어 "The Pennsylvania State University, University Park는 1855년에 설립되었습니다"라는 문장에서 "Pennsylvania State University"와 "The Pennsylvania State University, University Park"는 모두 유효한 엔티티입니다.

또한 일반적인 NER 모델은 이름과 위치와 같은 일반적인 엔티티를 식별할 수 있지만 특정 도메인에 특정한 엔티티를 식별하는 데 어려움을 겪을 수 있습니다. 예를 들어, 의료 분야에서는 질병 이름이나 약물 이름과 같은 복잡한 용어를 식별하는 것이 어려울 수 있습니다. 도메인별 NER 모델은 특수화된 도메인별 데이터에 대해 학습할 수 있지만 해당 정보를 확보하는 것 자체가 어려울 수 있습니다.

NER 모델은 모호성(예: "Apple"은 과일 또는 기술 회사를 지칭할 수 있음), 엔티티 이름 변형(예: "USA," "U.S.A.," "United States" 및 "United States of America" 모두 같은 국가를 지칭함), 제한된 문맥 정보(텍스트나 문장에 엔티티를 정확하게 식별하고 분류할 수 있는 충분한 문맥이 포함되어 있지 않음) 등 더 광범위한 문제에 직면할 수도 있습니다.

NER에는 어려움이 있지만, 지속적인 발전을 통해 정확도와 적용 가능성을 지속적으로 개선하고 있어 기존 기술 격차의 영향을 최소화하는 데 도움이 되고 있습니다.

NER은 잘 정립된 분야이지만 아직 해야 할 일이 많이 남아 있습니다. 

미래를 내다볼 때 유망한 분야 중 하나는 NER을 위한 비지도 학습 기법입니다. 지도 학습 기법은 우수한 성능을 보이지만, 많은 라벨이 지정된 데이터가 필요하기 때문에 확보하기가 어려울 수 있습니다. 비지도 학습 기법은 라벨이 지정된 데이터가 필요하지 않으며 조직이 데이터 가용성 문제를 극복하는 데 도움이 될 수 있습니다.

또 다른 흥미로운 방향은 NER을 다른 NLP 작업과 통합하는 것입니다. 예를 들어 NER과 엔티티 연결(엔티티를 지식 창고의 해당 항목에 연결하는 작업) 또는 NER과 핵심 참조 해결(텍스트의 두 개 이상의 표현이 언제 동일한 엔티티를 참조하는지 결정하는 작업)을 위한 공동 모델을 사용하면 시스템을 더 잘 이해하고 처리하는 텍스트를 만들 수 있습니다.

퓨샷(few-shot) 러닝 및 다중 모드(multimodal) NER도 NER 기술의 기능을 확장합니다. 퓨샷 러닝을 통해 모델은 몇 가지 예제만으로 작업을 수행하도록 학습되며, 이는 라벨이 지정된 데이터가 부족할 때 특히 유용할 수 있습니다. 반면에 다중 모드 NER에는 텍스트를 다른 엔티티 유형과 통합하는 것이 포함됩니다. 예를 들어, 이미지나 오디오는 엔티티를 인식하는 데 도움이 되는 추가 컨텍스트를 제공할 수 있습니다.