IBM watsonx.data: AI 지원 비정형 및 정형 데이터로 AI 정확도 향상
오늘 IBM은 일반 출시를 위한 엔터프라이즈 AI 및 분석을 위한 유일한 하이브리드 오픈 데이터 레이크하우스인 더욱 발전된 IBM watsonx.data의 출시했습니다.
조직은 이제 비정형 및 정형 데이터의 데이터 접근, 준비 및 제공을 간소화 및 확장하여 보다 정확하고 관련성 높은 생성형 AI 애플리케이션을 지원하고, 셀프 서비스 분석을 확장하며, 이전에 복잡했던 데이터 접근, 보강 및 거버넌스를 간소화하고 확장할 수 있습니다.
엔터프라이즈 데이터는 업계 및 고객과 관련이 있고 경쟁 우위를 확보하는 정확하고 차별화된 AI를 지원하는 최고의 도구입니다. 그러나 기업 데이터의 90%는 비정형 데이터로, 이러한 데이터는 대부분 접근이 불가능하고 생성형 AI에 제대로 활용되지 않았습니다.2
이제 IBM® watsonx.data*를 사용하여 기업의 비정형 데이터에 액세스하고 이를 준비하고 전달하여 기존 RAG보다 40% 더 정확한 AI를 구현할 수 있습니다. Watsonx.data는 다음과 같은 고유한 특징을 가지고 있습니다.
- 하이브리드 및 개방형 솔루션으로서 데이터가 어디에 있든 접근이 가능하며, 기존 에코시스템과 데이터 투자와의 상호 운용성을 통해 온프레미스, 클라우드 및 멀티 클라우드 환경에 배포할 수 있습니다.
- 비용과 성능 측면에서 워크로드를 최적화하기 위해 새로운 오픈 소스 Apache Gluten 강화 Spark를 비롯한 다양한 용도에 맞는 쿼리 엔진으로 워크로드에 최적화되었습니다.
- 또 다른 데이터 사일로가 형성되지 않도록 watsonx.data integration 및 watsonx.data intelligence 등 데이터 패브릭 기능이 모두 데이터 레이크하우스 내에 내장되어 생성형 AI를 지원합니다.
이제 다음을 확장하고 자동화할 수 있습니다.
- Filenet, Box, Google Docs 등을 포함한 다양한 새로운 소스 시스템에서 비정형 및 정형 데이터를 수집
- 데이터의 시맨틱 강화를 통해 문서의 추출 및 정규화된 개체에서 벡터화된 임베딩과 구조화된 파생물을 생성하여 위치 컨텍스트, 관계 및 계산을 이해하는 AI 애플리케이션을 강화하고 보다 정확하고 완전한 아웃풋 제공
- 문서 소스 시스템에서 상속된 액세스 제어를 통해 AI를 위한 데이터 검색에 이르기까지 데이터에 대한 거버넌스. 민감한 정보 노출 방지를 위해 PII 주석 사용
- BI부터 생성형 AI 애플리케이션 및 에이전트에 이르기까지 광범위한 워크로드에 걸쳐 해당 데이터 검색
이 모든 작업을 IBM watsonx.data 내에서 수행하여 데이터 엔지니어링, BI, ML과 같은 기존 분석 및 AI에 엔터프라이즈 비정형 데이터를 활용할 수 있습니다.
이제 IBM® watsonx.data는 목적에 맞는 여러 쿼리 엔진 중 하나로 Apache Gluten 가속 Spark를 제공하여 컴퓨팅 집약적인 Spark SQL 워크로드의 성능을 크게 향상시킵니다. 고성능 라이브러리인 Apache Gluten은 네이티브 C++ 실행 엔진인 Velox로 실행을 오프로드하여 Apache Spark SQL 워크로드를 최적화합니다. 이 통합은 대규모 데이터 분석을 위한 더 빠른 쿼리 처리와 향상된 리소스 효율성을 제공합니다. 이제 조직은 훨씬 더 빠른 속도와 확장성을 갖추고 더 낮은 비용으로 복잡한 분석 작업을 수행할 수 있습니다.
IBM은 최근 DataStax를 인수하여 Apache Cassandra에 구축된 NoSQL 운영 벡터 데이터 저장소를 watsonx.data로 가져왔습니다. watsonx.data에 이 기능이 추가됨으로써 벡터 기능이 향상되고 검색 증강 생성 및 지식 임베딩 기능이 강화됩니다.
DataStax는 실시간 성능, 고가용성 및 확장성을 요구하는 읽기 및 쓰기 생성형 AI 애플리케이션과 운영 워크로드에 최적화되어 있어서 조직에 최신 AI 애플리케이션에 필요한 속도, 안정성 및 멀티 모달 지원을 제공합니다.
DataStax는 Langflow와도 원활하게 연결되며, 곧 IBM® watsonx.ai의 일부로 제공될 예정입니다. Langflow는 60,000개 이상의 GitHub 별을 받은 오픈 소스 도구로, 개발자가 직관적인 로우코드 인터페이스를 통해 검색 증강 생성 및 멀티 에이전트 AI 애플리케이션을 프로토타이핑, 구축 및 배포하여 개발 불편을 줄이고 가치 실현 시간을 단축할 수 있도록 지원합니다.
AWS는 Think 2025에서 이러한 기능의 비공개 프리뷰를 발표했으며, 데이터 기조 연설 세션, 스포트라이트 세션 및 테크바이트 데모에서 데이터 및 AI 혁신을 위한 길을 닦고 있는 업계의 저명한 초청 연사들과 무대를 함께했습니다.
Lockheed Martin은 Meta와 함께 기조 연설 무대에 합류했습니다. Lockheed는 최근 watsonx.data를 활용하여 70,000명의 엔지니어, 과학자 및 기술자가 자연어를 사용해 수백만 개의 문서에서 답변과 정보를 검색할 수 있도록 지원했습니다. "우리는 더 안전하고 보안이 유지되는 세상을 만드는 데 도움이 되도록 솔루션을 실험실에서 현장으로 가져와 혁신과 효율성을 빠르게 가속화하고 있습니다."라고 Lockheed의 기술 및 전략 혁신 담당 수석 부사장인 John Clark은 말합니다.
EY는 최근 watsonx를 활용해 세무 부서가 직면한 가장 큰 과제를 해결하는 획기적인 AI 기반 글로벌 세무 규정 준수 솔루션을 선보였습니다. EY의 미국 간접세 AI 리더인 Christopher Aiken 은 “EY는 150개 이상의 국가에서 세무 서비스를 제공하고 있으며, 이러한 국가의 고객은 거의 대부분 데이터 문제로 어려움을 겪고 있습니다.”라며, “watsonx는 데이터 정제, 강화, 품질 검토를 위한 인적 노력을 최대 30~50% 줄였습니다.”라고 말합니다.
USAA는 보험의 미래를 주도하고 고객 경험을 개선하기 위해 생성형 AI를 활용하고 있습니다. USAA의 최고 데이터 분석 및 AI 책임자인 Ramnik Bajaj는 "보험 업계에서는 상당한 양의 비정형 데이터를 처리합니다."라고 말합니다. "예를 들어 주택 조사 보고서, 경찰 보고서 및 사고 이미지에는 분석을 위한 정형 데이터가 거의 포함되어 있지 않습니다. 생성형 AI를 통해 이 비정형 데이터에서 주요 속성과 인사이트를 추출할 수 있어 보험심사원, 손해사정사 및 서비스 담당자가 훨씬 더 쉽게 접근하고 유용하게 사용할 수 있습니다."