watsonx.data integration으로 비정형 데이터를 대규모로 수집, 변환 및 사전 처리하세요
확장성을 염두에 두고 내장된 보안 및 규정 준수 기능을 제공합니다.
배치, 스트리밍, 복제 및 관측성 전반에 걸쳐 정형 데이터 통합과 함께 작동하므로 여러 툴을 복잡하게 병용할 필요가 없습니다.
노코드와 로우코드부터 종합 SDK에 이르기까지 모든 기술 수준에 알맞게 설계되었습니다.
2분 이내에 비정형 데이터 통합 파이프라인 구축
정형 데이터 통합을 위한 기존의 추출, 변환, 로드(ETL)와 마찬가지로 이 신기술에서도 비정형 데이터에 프로세스를 적용합니다.
사용자는 기술 수준에 구애받지 않고 직관적인 UI와 사전 구축된 커넥터를 활용하여 다양한 소스에서 일반적으로 사용되는 비정형 파일 유형을 수집할 수 있습니다. 더 전문적인 사용자의 경우 종합 SDK를 통해 플랫폼을 온전히 확장할 수 있습니다.
변환 단계에서는 텍스트 추출 및 중복 제거와 같은 함수를 취급하기 위한 사전 구축된 품질 연산자를 제공합니다. 또한 이 기능은 개인 식별 정보(PII) 및 혐오적, 모욕적 내용 혹은 욕설(HAP)과 같은 민감한 콘텐츠를 제거할 수 있습니다. 이러한 변환은 수억 페이지의 페이지를 처리할 수 있어서 비정형 데이터 처리를 기하급수적으로 가속화할 수 있는 확장 가능한 엔진을 기반으로 합니다. 또한 비정형 데이터 통합은 LangChain과 같은 오픈소스 프레임워크와도 통합되므로 변환 기능을 더욱더 확장할 수 있습니다.
로드 단계에서 이 기능은 청킹 및 임베딩 연산자를 제공하여 Milvus와 같은 벡터 데이터베이스의 임베딩 생성 및 채우기를 간소화함으로써 비정형 데이터를 AI 사용 사례에 이용하기 쉽게 만듭니다.
파이프라인이 구축된 후에는 소스 문서가 변경될 때 자동으로 임베딩 업데이트가 진행되어 오래된 벡터화된 데이터의 일반적인 문제를 해결할 수 있습니다. 보안을 유지하기 위해 조직은 기본 제공 액세스 제어 목록(ACL)을 사용하여 특정 데이터 세트를 보고 작업할 수 있는 사람을 관리할 수 있습니다.
사용자는 기술 수준에 구애받지 않고 직관적인 UI와 사전 구축된 커넥터를 활용하여 다양한 소스에서 일반적으로 사용되는 비정형 파일 유형을 수집할 수 있습니다. 더 전문적인 사용자의 경우 종합 SDK를 통해 플랫폼을 온전히 확장할 수 있습니다.
변환 단계에서는 텍스트 추출 및 중복 제거와 같은 함수를 취급하기 위한 사전 구축된 품질 연산자를 제공합니다. 또한 이 기능은 개인 식별 정보(PII) 및 혐오적, 모욕적 내용 혹은 욕설(HAP)과 같은 민감한 콘텐츠를 제거할 수 있습니다. 이러한 변환은 수억 페이지의 페이지를 처리할 수 있어서 비정형 데이터 처리를 기하급수적으로 가속화할 수 있는 확장 가능한 엔진을 기반으로 합니다. 또한 비정형 데이터 통합은 LangChain과 같은 오픈소스 프레임워크와도 통합되므로 변환 기능을 더욱더 확장할 수 있습니다.
로드 단계에서 이 기능은 청킹 및 임베딩 연산자를 제공하여 Milvus와 같은 벡터 데이터베이스의 임베딩 생성 및 채우기를 간소화함으로써 비정형 데이터를 AI 사용 사례에 이용하기 쉽게 만듭니다.
파이프라인이 구축된 후에는 소스 문서가 변경될 때 자동으로 임베딩 업데이트가 진행되어 오래된 벡터화된 데이터의 일반적인 문제를 해결할 수 있습니다. 보안을 유지하기 위해 조직은 기본 제공 액세스 제어 목록(ACL)을 사용하여 특정 데이터 세트를 보고 작업할 수 있는 사람을 관리할 수 있습니다.
watsonx.data integration은 최신 레이크하우스 아키텍처 전반에 걸쳐 정형 및 비정형 데이터를 통합합니다. 또한 데이터베이스, 문서, 로그, 이미지와 이메일을 연결하여 더욱 풍부한 인사이트와 보다 정확한 AI를 제공하고 비즈니스를 더 완벽하게 파악할 수 있도록 합니다.
watsonx.data integration은 비정형 콘텐츠를 자율 에이전트와 실시간 시스템을 위한 실행 가능한 정형 데이터로 변환하여 자동 서비스, 사기 탐지 및 동적 공급망과 같은 사용 사례를 지원합니다.
watsonx.data integration은 문서, 오디오 및 비디오와 같은 비정형 콘텐츠를 정화하고 정형화하여 AI 학습용으로 준비합니다. 이를 통해 더 나은 NLP, 컴퓨팅 비전과 예측 분석을 위한 고품질 입력을 확보할 수 있습니다.
관련 제품
IBM® watsonx.data integration은 모든 통합 방식과 스토리지 아키텍처 전반에 걸쳐 정형 및 비정형 데이터를 통합하여 AI에 적합한 데이터 환경을 구축할 수 있도록 지원합니다.
watsonx.data intelligence는 데이터 자산을 탐색, 선별, 관리하여 온프레미스 및 클라우드 환경 전반에 걸쳐 원시 정보를 정확한 AI와 의미 있는 인사이트로 전환합니다.
IBM® watsonx.data는 기존 레이크하우스의 한계를 뛰어넘어 더 정밀한 AI를 가능하게 하는 데이터 통합, 고도화 및 거버넌스의 새로운 기준을 제시합니다.
각주
¹ IDC 백서: 비정형 데이터의 활용되지 않은 가치