데이터 마이닝은 데이터에 알고리즘을 적용하여 주어진 컨텍스트나 쿼리와 일치하는 패턴을 찾는 프로세스이다. 수년 동안 조직에서는 데이터 마이닝을 사용하여 많은 데이터를 분석함으로써 작동을 예측하고 의미 있는 보고서를 생성하고 경쟁을 극복하는 작업을 수행했다.

구조화되지 않은 데이터와 반구조화된 데이터가 웹 전체로 확산되면서 인텔리전트 데이터 마이닝과 스토리지 및 처리에 대한 필요성이 증가했다. 점점 복잡해지고 있는 대용량 데이터 세트로 인해 기존의 데이터 마이닝 기술에 새로운 처리 방법이 필요하게 되었다. 웹 데이터를 마이닝한다는 것은 기껏해야 반구조화된 형식으로 표시된 정보를 구조화하는 것이라고 할 수 있다.

데이터 마이닝의 개요

데이터 마이닝은 무엇보다도 통계적 방법, 인공 지능 및 표준 데이터베이스 관리 기술을 사용하여 대용량 데이터 세트에서 패턴을 추출하는 작업이다.

스토리지 용량과 처리 능력이 증가하고 연결할 디바이스의 기능이 유비쿼터스화됨에 따라 데이터 마이닝의 중요성이 더 분명해졌다. 조직에서는 엄청나게 많은 데이터를 가치 있는 비즈니스 지식으로 변환하여 경쟁 우위를 확보하려고 한다. 이러한 지식이 있으면 과학, 마케팅, 사기 방지, 감시 및 기타 영역에서 유리한 위치를 점유할 수 있다. 데이터 마이닝을 통해 얻을 수 있는 혜택으로 인해 더 효과적인 데이터 마이닝 기술과 솔루션에 대한 필요성이 급격하게 증가하고 있다. 효과적인 솔루션은 데이터를 추출하여 필터링하고 변환하는 기술을 최적화하는 것과 관련이 있다. 변환된 데이터는 웹 서비스, 메시징 시스템 등을 통해 사용할 수 있다.

일반적으로 데이터 마이닝에는 클러스터링, 분류, 회귀 및 연관 규칙 학습과 같은 몇 가지 표준 태스크가 포함되어 있다.

클러스터링

데이터 마이닝 컨텍스트에서 클러스터링은 구조화되지 않은 데이터와 반구조화된 데이터 안에 임베드된 데이터의 유사 하위 그룹(클러스터)을 표시하는 것과 관련이 있다. 표 1에는 일반적인 데이터 마이닝 클러스터링 유형 중 일부가 표시되어 있습니다.

분류

분류는 높이, 색상 등과 같은 구성이나 사전 결정된 택소노미에 따라 데이터를 범주화하는 것이다. 분류가 가장 일반적으로 사용되는 때는 원하지 않는 이메일이나 스팸 메일을 식별해야 할 때이다.

회귀

데이터 마이닝에서 회귀는 데이터에 관련된 특정 예측을 수행하는 통계적 방법이다. 예를 들면, 위치, 침실 수, 면적 등을 기반으로 집의 가치를 예측할 수 있다. 정량적 데이터를 사용하여 공식을 개발한 다음, 이 공식을 후속 데이터에 적용하여 예측을 한다. 일반적으로 회귀는 예측을 하는 데 사용된다.

연관 규칙 학습

연관 규칙 학습에서는 데이터 오브젝트 간의 관계를 검색하여 예측을 하고 제품을 포지셔닝하는 등의 작업을 수행한다. 예를 들면, 식료품 상점에서 연관 규칙 학습을 사용하여 고객이 핫도그, 롤빵 및 숯을 구입할 때마다 구매 습관을 판별함으로써 고객의 구매 습관을 예측할 수도 있다. 이러한 경우에는 일반적으로 고객이 종이 접시를 함께 구입한다.

위로

XML 개요

XML은 다양한 형식의 데이터를 구조화하는 데 사용할 수 있는 텍스트 기반 마크업 언어이다. 일반적으로 XML 형식은 외부에서 참조하거나 XML 문서 내부에 임베드할 수 있는 스키마로 정의된다. 유명한 프로그래밍 언어는 대부분 XML 문서를 처리하는 몇 가지 지원 형식을 제공한다.

XML은 SGML(Standard Generalized Markup Language)의 서브세트로, 주어진 XML 문서의 컨텐츠에 관한 메타 정보를 제공하기 위해 설계되었다. XML은 하드웨어나 소프트웨어에 독립적인 데이터를 일반 텍스트 형식으로 저장한다. 이러한 속성으로 인해 XML은 웹에서 사용되는 애플리케이션과 시스템 전체에서 정보를 공유하고 통신을 할 때 가장 널리 사용되는 형식 중 하나가 되었다.

XML 기반 형식은 데이터 마이닝 용도로 매우 광범위하게 사용된다. 표 2에는 데이터 마이닝에 사용되는 더 일반적인 형식 중 일부가 표시되어 있다.

위로

XML을 사용하여 반구조화된 데이터 표시

반구조화된 데이터는 약간 구조화되었지만 관계형 모델에 적합할 정도로 구조화되지는 않은 데이터이다. 일반적으로 반구조화된 데이터에는 연관된 데이터의 일부 세부사항이 포함된 관련 요소를 의미에 따라 분리하는 태그나 기타 요소가 포함되어 있다. HTML은 하나의 일반적인 반구조화된 데이터 형식이다. 주로 HTML 형식의 반구조화된 데이터로 인해 웹 데이터 마이닝의 가능성이 새롭게 부각되고 있다.

XML은 테이블 형식의 데이터와 계층 구조 데이터 모두를 표현할 수 있다. 또한, XML은 스키마 및 DTD(Document Type Definition)와 같은 설명적 엔티티와 임베디드 메타데이터로 가득 차 있다. XML은 데이터를 간단한 구조로 표현하거나 복잡하고 정교한 구조로 표현할 수 있다. 이러한 속성 때문에 XML 형식이 반구조화된 데이터를 표현하는 최상의 어휘가 되었다.

본래 XML을 사용하면 서비스나 애플리케이션에서 데이터를 구조화하게 된다. 이러한 사실 때문에 유용한 데이터 모델을 정의하기 위해 처리되는 데이터의 시맨틱이 데이터 마이닝 메커니즘에 포함되게 되었다. XML 형식을 데이터 형식으로 사용하는 데이터 디자이너는 데이터를 정의하는 시맨틱 모델을 완전하게 제어할 수 있다.

또한, XML은 서비스와 애플리케이션이 이기종 프로그래밍 언어와 환경에서 데이터를 용이하게 액세스할 수 있도록 공통 속성을 제공한다. 이렇게 데이터에 액세스할 수 있게 되면 프로그래머나 사용자가 데이터를 조작하고 사용하는 데 필요한 알고리즘과 프로그래밍 작업에 집중하는 대신 데이터를 조작하고 사용하는 데 집중할 수 있게 된다.

위로

XML을 사용하여 반구조화된 데이터 세트에서 유용한 정보 추출

반구조화된 데이터를 XML 기반 문서로 표현하려면 XML을 사용하고 조작 및 출력하는 기능을 지원하는 강력한 데이터 마이닝 시스템이 있어야 한다. 이러한 기능이 필요하기 때문에 데이터 마이닝 시스템에서는 일반적인 방식으로 데이터를 조작한다.

XML로 표현된 반구조화된 데이터는 루트 정점이 하나 있는, 레이블이 지정된 방향 그래프라고 할 수 있다. XML 기반 그래프의 모서리, 잎 및 기타 노드에는 텍스트로 레이블을 지정할 수 있다. 또한, 그래프의 각 노드를 고유 ID로 정의할 수도 있다.

필모그래피를 표현하는 XML 문서 예제(목록 1)를 생각해 보자.

<filmography>
  <director name="Scorsese">
    <year>
      2002
      <film>
        <title>Deuces Wild</title>
      </film>
    </year>
    <year>
      2003
      <film>
        <title>The Soul of a Man</title>
      </film>
      <film>
        <title>The Blues</title>
      </film>
    </year>
  </director>
</filmography>
      

목록 1에 있는 XML 문서를 그림 1에 표시된 그래프로 다이어그램화할 수 있다.

XML 기반 쿼리 언어는 경로를 나타내는 구분 기호와 에지 레이블의 시퀀스를 사용하여 XML 문서의 "그래프" 내에 있는 임의의 위치에 도달하도록 구성된다. 목록 2에는 그림 1에 있는 XML 그래프의 Deuces Wild 노드에 대한 경로 또는 XPath 표현식이 표시되어 있다. 이 경로는 루트 레이블에서 시작된다.

/filmography/director[@name="Scorsese"]/year[0]/film/title/text()

XML 문서의 모호성을 극복하려면 데이터가 파생되는 컨텍스트를 사용해야 한다. 예를 들어, 사용자가 성이 White인 감독을 검색할 때, XML 문서에 이름이 White인 영화가 있는 경우에는 XPath 표현식 /filmography/director[@name="White"]@name에 정의된 컨텍스트를 /filmography/director[@name="White"]/year[1]/film[0]/title/text() XPath 표현식과 비교하여 모호성을 극복한다.

웹에 있는 HTML 문서와 같은 반구조화된 데이터 소스에서 정보를 추출하려면 데이터를 필터링하고, 변환 및 추출해야 한다. HTML 문서를 구조화된 형식으로 변경하려면 이 문서를 XHTML(Extensible Hypertext Markup Language) 문서로 변환해야 한다. 일반적으로 이러한 과정은 관련 노드를 태그 이름으로 그룹화하고 사용되지 않는 태그 및 속성과 같은 금지 항목을 제거하는 논리가 포함된 필터링 프로세스이다. 다음 단계에서는 html 루트 요소를 하나 선언하고 태그 요소와 속성 이름을 소문자로 변환하고, 종료 태그를 모든 시작 태그에 추가하고, alt 속성을 img 태그에 추가하는 과정을 수행하여, 필터링된 문서를 변환한다.

앞서 설명한 필터링, 변환 및 추출 프로세스를 사용하면 웹을 대용량 XML 기반 데이터 저장소라고 생각할 수 있다. 따라서 XQuery와 같은 XML 쿼리 언어를 사용하여 웹에서 데이터를 용이하게 추출할 수 있다.

XQuery를 사용하여 XHTML 문서에서 데이터를 추출하고 사용하려면 문서에서 컨텐츠를 찾고, 필요에 따라 XML 구조를 새로 작성하고, 때로는 XML 문서를 완전히 새로 작성할 수 있게 쿼리를 체계화해야 한다. 문서에서 데이터를 찾는 과정은 XPath 표현식을 사용하여 패턴 일치를 수행하는 것이다.

목록 3에 있는 XQuery는 목록 1에 있는 XML 문서에서 2002년에 개봉된 영화의 제목을 리턴하는 단순한 XQuery 표현식이다.

        
for $x in doc("www.example.com/films.xml")/filmography/director
where $x/year="2002"
return $x/year/film/title
      

XQuery 문서에서 리턴된 결과를 이 결과를 사용할 사람의 필요에 따라 XML 태그, 속성 및 기타 마크업으로 어노테이션할 수 있다. 예를 들어, 목록 4에 있는 스니펫을 참고하자.

for $x in doc("www.example.com/films.xml")/filmography/director
return
  <director name="{$x[@id]}">
    <other_data>...</other annotated data>
  </director>

목록 4에서는 XQuery 코드에서 리턴된 결과가 쿼리에서 리턴된 데이터가 있는 XML 단편으로 어노테이션된다.

XQuery에는 쿼리를 적용할 수 있는 특정 문서를 표시하는 기능이 있다. XQuery로 /filmography/director[@name="White"]@name XPath 표현식을 강화하여 XQuery 표현식에서와 같이 특정 문서에 적용할 수 있다.

doc("www.example.com/films.xml")/filmography/director[@name="White"]@name

다양한 XQuery 구문을 사용하여 XML 데이터의 유사성을 발견하여 작성자 이름, 데이터 소스 등과 같은 공통 요소로 데이터를 찾을 수 있다. 이 기사에서는 빈도 가중치 및 빈도 정규화와 같은 더 복잡한 방법은 다루지 않는다.

위로

관계형 데이터를 XML 데이터로 변환

앞서 언급한 바와 같이 XML 문서의 구조는 요소, 엔티티 참조, 설명 등과 같은 다양한 유형의 노드가 많이 있는 중첩 계층 구조 트리로 표현된다. XML 문서에는 루트 노드가 하나만 있을 수 있다. 루트 노드는 문서에서 찾을 수 있는 첫 번째 노드이다.

관계형 데이터베이스는 레코드 또는 행 세트가 포함된 테이블 세트로 구성된다. 레코드나 행에는 데이터가 들어 있는 열이나 필드 세트가 포함되어 있다. 주어진 테이블에 있는 모든 행에는 동일한 수의 열이 있다. 따라서 관계형 데이터베이스를 데이터베이스 노드로 구성된 계층적 XML 구조로 모델링할 수 있다. 데이터베이스 노드에는 열 노드 세트가 있는 행 노드 세트가 있는 테이블 노드 세트가 있다.

목록 5에서와 같이 XML 문서로 된 하나의 행이 있는 하나의 테이블(director)로 구성된 구조를 사용하여 관계형 데이터베이스(필모그래피)를 모델링할 수 있다.

<filmography>
  <director>
    <row>
      <name>Scorsese</name>
      <year>
        2002
        <film>
          <title>Deuces Wild</title>
        </film>
      </year>
      <year>
        2003
        <film>
          <title>The Soul of a Man</title>
        </film>
        <film>
          <title>The Blues</title>
        </film>
      </year>
    </row>
  </director>
</filmography>

키로 관계되는 테이블은 목록 5에서와 같이 중첩될 수 있거나 관련 테이블 이름에 대한 속성으로 문서 내에 임베디드된 링크로 참조될 수 있다.

위로

XML 데이터의 변경 발견

데이터 마이닝 쿼리에서 리턴된 XML 데이터를 사용하는 사람은 이전에 쿼리를 실행한 이후에 수행된 데이터의 변경에만 관심을 갖는다. 이러한 문제점을 해결할 수 있는 솔루션은 저장, 색인 및 diff 프로세스를 중심으로 자주 구현된다. XML 데이터는 이런 프로세서에서 추출되고 저장된다. 그 다음에는 XML 패턴 표현식 색인화, B-Tree 구조 색인화, 구조적 색인화, 컨텐츠 또는 키워드 색인화 등과 같은 기술을 사용하여 데이터를 색인화한다. XML 데이터를 색인화한 후에는 나중에 검색을 통해 신속하게 데이터를 쿼리하여 diff 프로세스에서 사용할 데이터에 액세스할 수 있다. diff 프로세스에서는 현재의 데이터를 대상으로 비교할 수 있는 델타가 생성된다.

변경된 사항을 발견하는 기능은 나중에 분석하고 예측할 때 사용할 수 있는 데이터 패턴에서 변경된 부분을 식별하는 데 유용하다.

위로

요약

데이터 마이닝은 데이터에 알고리즘을 적용하여 주어진 컨텍스트나 쿼리와 일치하는 패턴을 표시하는 프로세스이다. 조직에서는 데이터 마이닝을 사용하여 대용량 데이터 콜렉션을 분석함으로써 작동을 예측하고 경쟁을 극복하는 데 도움이 되는 의미 있는 보고서를 생성한다.

웹에는 구조화되지 않은 데이터와 반구조화된 데이터가 매우 많이 있으며 내부 데이터 저장소에서 지능적이고 효과적인 데이터 마이닝에 대한 필요성이 증가하고 있다. 복잡한 대용량 데이터 세트로 인해 기존의 데이터 마이닝 기술에 새로운 처리 방법이 필요하게 되었다. 오늘날의 데이터 저장소에 있는 데이터를 마이닝하려면 전혀 구조화되지 않았거나 기껏해야 반구조화된 데이터를 이용하여 구조화된 데이터를 프로세서가 작성해야 한다.

이 기사에서는 패턴 일치, 변경 발견, 유사성 검색 및 발견, 데이터 어노테이션 및 시맨틱을 포함한 데이터 마이닝 과정에서 XML을 사용하는 방법과 XML의 역할을 검토했다. 또한, 데이터 마이닝 컨텍스트에서 XML을 사용하는 데 필요한 기존 표준을 간략하게 살펴보았다.

참고자료

교육

• Web-based data mining(Jussi Myllymaki and Jared Jackson, developerWorks, 2001년 6월): HTML, XML 및 Java™ 기술을 사용하여 자동으로 정보를 추출하는 방법을 배우자.
  
  
• Get started with XPath(Bertrand Portier, developerWorks, 2004년 5월): XPath(XML Path Language)의 기본을 다루고 있다.
  
  
• Process XML using XQuery(Nicholas Chase, developerWorks, 2007년 5월): XQuery 1.0을 사용하여 XML 데이터를 더 쉽고 간단하게 검색하는 방법을 배우자.
  
  
• How XQuery extends XPath(Donnie Cameron, developerWorks, 2008년 4월): XQuery로는 할 수 있지만 XPath로는 할 수 없는 작업을 확인하자.
  
  
• Data mining with WEKA, Part 1: Introduction and regression(Michael Abernethy, developerWorks, 2010년 4월): 오픈 소스 데이터 마이닝 소프트웨어와 데이터를 해석하는 가장 일반적인 기술 중 일부를 확인하자.
  
  
• Data mining with WEKA, Part 2: Classification and clustering(Michael Abernethy, developerWorks, 2010년 5월): 데이터를 더 효과적으로 분석할 때 사용할 수 있는 두 가지 공통 데이터 마이닝 방법(분류 및 클러스터링)을 탐구하자.
  
  
• Data mining with WEKA, Part 3: Nearest Neighbor and server-side library(Michael Abernethy, developerWorks, 2010년 6월): 근접 이웃(Nearest neighbor) 데이터 마이닝 기술을 탐구하자.
  
  
• XML 입문 XML을 배우는 데 필요한 참고자료를 얻자.
  
  
• More articles by this author(Jeffrey Hanson, developerWorks, 2006년 6월 현재): 매시업 보안, 소셜 미디어 API, REST 서비스, 프레임워크, Apache Geronimo와 같은 기술에 관한 기사를 읽어보자.
  
  
• developerWorks의 XML 영역: XML 분야의 기술을 향상시키는 데 도움이 되는 참고자료를 얻을 수 있다. XML 기술 자료에서 다양한 기술 관련 기사와 팁, 튜토리얼, 표준 및 IBM Redbook을 볼 수 있다.
  
  
• IBM XML 인증: XML 및 관련 기술에 대한 IBM 인증 개발자가 되는 방법을 찾아볼 수 있다.
  
  
• developerWorks 기술 행사 및 웹 캐스트: 이러한 세션에 참가하여 최신 기술에 대한 정보를 얻을 수 있다.
  
  
• Twitter의 developerWorks 페이지: 오늘 가입하여 developerWorks 트윗을 팔로우하자.
  
  
• developerWorks podcasts: 소프트웨어 개발자의 흥미로운 인터뷰와 토론을 확인할 수 있다.
  
  
• developerWorks on-demand demos: 입문자를 위한 제품 설치 및 설정 과정에서 숙련된 개발자를 위한 고급 기능의 활용에 이르기까지 다양한 데모를 제공한다.
  
  

제품 및 기술 얻기

• IBM 제품 평가판: IBM SQA Sandbox의 온라인 시험판을 다운로드하거나 살펴보고 DB2®, Lotus®, Rational®, Tivoli® 및 WebSphere® 애플리케이션 개발 도구 및 미들웨어 제품을 사용해 볼 수 있다.
  
  

토론

• XML 영역 토론 포럼: 여러 XML 관련 토론에 참여해 볼 수 있다.
  
  
• developerWorks 커뮤니티: 개발자가 운영하고 있는 블로그, 포럼, 그룹 및 위키를 살펴보면서 다른 developerWorks 사용자와 의견을 나눌 수 있다.
  
  

필자소개

Jeff Hanson은 20년 이상 소프트웨어 엔지니어이자 아키텍트로 활동하고 있으며 Max International의 CTO이기도 하다. Jeff는 Mashups: Strategies for the Modern Enterprise를 비롯하여 많은 기사와 책을 저술했다. 이메일 주소는 jjeffreyhanson@gmail.com이다.

아티클 순위

의견

위로

목차

• 데이터 마이닝의 개요
• XML 개요
• XML을 사용하여 반구조화된 데이터 표시
• XML을 사용하여 반구조화된 데이터 세트에서 유용한 정보 추출
• 관계형 데이터를 XML 데이터로 변환
• XML 데이터의 변경 발견
• 요약
• 참고자료
• 필자소개
• 의견