추출 작동 방식
응답에서 주요 개념 및 아이디어를 추출하는 동안 Text Analytics는 언어학적 기반 텍스트 분석에 의존합니다. 이 접근 방식은 통계 기반 시스템의 속도 및 비용 효율성을 제공합니다. 그러나 이는 훨씬 더 높은 정확도를 제공하는 반면 인간의 개입은 훨씬 덜 필요합니다. 언어학적 기반 텍스트 분석은 자연어 처리라고도 하는 연구 분야를 기반으로 하며 계산 언어학이라고도 합니다.
추출 프로세스의 작동 방식을 이해하면 언어 자원 (라이브러리, 유형, 동의어 등) 을 미세 조정할 때 주요 의사결정을 내리는 데 도움이 될 수 있습니다. 추출 프로세스의 단계에는 다음이 포함됩니다.
- 소스 데이터를 표준 형식으로 변환
- 후보 용어 식별
- 등가 클래스 식별 및 동의어 통합
- 유형 지정
- 색인화
- 일치 패턴 및 이벤트 추출
1단계. 소스 데이터를 표준 형식으로 변환
이 첫 번째 단계에서 가져오는 데이터는 추가 분석에 사용할 수 있는 균일한 형식으로 변환됩니다. 이 변환은 내부적으로 수행되며 원래 데이터를 변경하지 않습니다.
2단계. 후보 용어 식별
언어 추출 중에 후보 용어의 식별에서 언어 자원의 역할을 이해하는 것이 중요합니다. 언어 자원은 추출이 실행될 때마다 사용됩니다. 템플리트, 라이브러리 및 컴파일된 자원의 양식으로 존재합니다. 라이브러리에는 추출을 지정하거나 조정하는 데 사용되는 단어, 관계 및 기타 정보의 목록이 포함되어 있습니다. 컴파일된 자원을 보거나 편집할 수 없습니다. 그러나 나머지 자원 (템플리트) 은 템플리트 편집기에서 편집할 수 있습니다. 또는 Text Analytics Workbench 세션에 있는 경우에는 자원 편집기에서 편집할 수 있습니다.
컴파일된 자원은 추출 엔진의 핵심 내부 컴포넌트입니다. 이러한 자원에는 품사 코드 (명사, 동사, 형용사, 부사, 분사, 코디네이터, 결정자 또는 전치사) 가 있는 기본 양식의 목록을 포함하는 일반 사전이 포함됩니다. 자원에는 <Location>, <Organization>또는 <Person>유형에 추출된 여러 용어를 지정하는 데 사용되는 예약된 내장 유형도 포함되어 있습니다.
이러한 컴파일된 자원 외에도 여러 라이브러리가 제품과 함께 제공되며 컴파일된 자원에서 유형 및 개념 정의를 보완하고 다른 유형 및 동의어를 제공하는 데 사용할 수 있습니다. 이러한 라이브러리 및 사용자가 작성하는 모든 사용자 정의 라이브러리는 여러 사전으로 구성됩니다. 여기에는 유형 사전, 대체 사전 (동의어 및 선택적 요소) 및 제외 사전이 포함됩니다.
데이터를 가져오고 변환한 후 추출 엔진은 추출할 후보 용어를 식별하기 시작합니다. 후보 용어는 텍스트에서 개념을 식별하는 데 사용되는 단어 또는 단어 그룹입니다. 텍스트 처리 중에 컴파일된 자원에 없는 단일 단어 (uni-terms) 는 후보 용어 추출로 간주됩니다. 후보 복합 단어 (다중 용어) 는 품사 패턴 추출기를 사용하여 식별됩니다. 예를 들어, 형용사 명사 품사 패턴을 따르는 다중 용어 sports car에는 두 개의 컴포넌트가 있습니다. 형용사 형용사 명사 품사 패턴을 따르는 다중 용어 fast
sports car에는 세 개의 구성요소가 있습니다.
마지막으로 특수 알고리즘을 사용하여 작업 제목과 같은 대문자 문자열을 처리하므로 이러한 특수 패턴을 추출할 수 있습니다.
3단계. 등가 클래스 식별 및 동의어 통합
후보 단일 용어 및 다중 용어가 식별된 후, 소프트웨어는 알고리즘 세트를 사용하여 이들을 비교하고 등가 클래스를 식별합니다. 등가 클래스는 구문의 기본 양식 또는 동일한 구문의 두 변형의 단일 양식입니다. 등가 클래스에 구문을 지정하는 목적은 예를 들어, president of the
company 및 company president 가 별도의 개념으로 처리되지 않도록 하기 위한 것입니다. 등가 클래스에 사용할 개념 (즉, president of the
company 또는 company president 가 리드 용어로 사용되는지 여부) 을 판별하기 위해 추출 엔진은 나열된 순서대로 다음 규칙을 적용합니다.
- 라이브러리의 사용자 지정 양식입니다.
- 전체 텍스트 본문에서 가장 자주 사용되는 양식입니다.
- 텍스트의 전체 본문에서 가장 짧은 양식 (일반적으로 기본 양식에 해당함).
4단계. 유형 지정
다음으로, 유형이 추출된 개념에 지정됩니다. 유형은 개념의 시맨틱 그룹입니다. 컴파일된 자원과 라이브러리 모두 이 단계에서 사용됩니다. 유형에는 상위 레벨 개념, 긍정적 및 부정적 단어, 이름, 장소, 조직 등이 포함됩니다. 사용자가 추가 유형을 정의할 수 있습니다.
5단계. 색인화
레코드 또는 문서의 전체 세트는 텍스트 위치와 각 등가 클래스의 대표 용어 사이에 포인터를 설정하여 색인화됩니다. 여기에서는 후보 개념의 모든 굴절된 양식 인스턴스가 후보 기본 양식으로 색인화된다고 가정합니다. 글로벌 빈도는 각 기본 양식에 대해 계산됩니다.
6단계. 일치 패턴 및 이벤트 추출
Text Analytics는 유형 및 개념뿐만 아니라 이들 간의 관계도 검색할 수 있습니다. 이 도구에서 여러 알고리즘 및 라이브러리를 사용할 수 있으며 유형 및 개념 간의 관계 패턴을 추출하는 기능을 제공합니다. 특히 특정 의견 (예: 제품 반응) 또는 사용자 또는 오브젝트 간의 관계 링크 (예: 정치 그룹 또는 게놈 간의 링크) 를 발견하려고 시도할 때 유용합니다.