생성형 AI로 지식 관리 사용 사례 확장

인공 지능은 비즈니스의 다양한 영역을 혁신하고 있습니다. 이 기술의 잠재력은 고객 서비스, 인재 및 애플리케이션 현대화에서 특히 두드러집니다. IBM의 기업가치연구소(IBV)에 따르면 AI는 컨택 센터 사례를 포함하여 고객 경험을 70% 향상시킬 수 있습니다. 또한 AI는 HR의 생산성을 40%, 애플리케이션 현대화의 생산성을 30% 높일 수 있습니다. 한 가지 예로 IT 운영을 통해 티켓 지원을 자동화하여 인건비 부담을 줄일 수 있습니다. 하지만, 이러한 수치는 기업의 혁신 기회를 나타내지만, AI를 확장하고 운영하는 것은 그동안 조직에게 어려운 일이었습니다.

AI는 정보를 제공하는 데이터만큼 우수하며, 올바른 데이터 기반에 대한 필요성이 그 어느 때보다 커졌습니다. 

데이터가 클라우드와 온프레미스 환경에 저장되어 있으면 거버넌스를 관리하고 비용을 제어하면서 데이터에 액세스하기가 어려워집니다. 문제를 더욱 복잡하게 만드는 것은 데이터 사용이 더욱 다양해지고 기업은 복잡하거나 품질이 낮은 데이터를 관리해야 하는 상황에 직면해 있다는 것입니다.

Precisely에서 실시한 연구에 따르면 기업 내에서 데이터 과학자는 문서, 이미지, 동영상 등 다양한 형식을 다루는 데이터를 정리, 통합 및 준비하는 데 업무 시간의 80%를 소비하는 것으로 나타났습니다. 전반적으로 AI를 위한 신뢰할 수 있고 통합된 데이터 플랫폼을 구축하는 데 중점을 둡니다.

올바른 데이터에 액세스하면 광범위한 작업을 지원하는 기반 모델의 힘을 활용하여 모든 사용자를 위해 AI를 보다 쉽게 민주화할 수 있습니다. 그러나 기반 모델의 기회와 위험, 특히 AI를 대규모로 배포하기 위한 모델의 신뢰성을 고려하는 것이 중요합니다.

신뢰는 이해관계자가 AI를 구현하지 못하게 하는 주요 요인입니다. 실제로 IBV는 경영진의 67% 가 AI의 잠재적 책임에 대해 우려하고 있다는 사실을 발견했습니다. 기존의 책임감 있는 AI 도구는 기술적 기능이 부족하고 특정 환경으로 제한되어 있어 고객이 다른 플랫폼의 모델을 관리하기 위해 도구를 사용할 수 없습니다. 생성 모델이 혐오, 욕설, 욕설(HAP)을 포함한 유해한 언어가 포함된 아웃풋을 생성하거나 개인 식별 정보(PII)를 유출하는 경우가 많다는 점을 고려할 때 이는 매우 우려스러운 일입니다. 기업은 AI 사용에 대해 점점 더 부정적인 평가를 받고 있으며, 이로 인해 회사의 평판이 훼손되고 있습니다. 데이터 품질은 AI 모델이 생성하는 콘텐츠의 품질과 유용성에 큰 영향을 미치므로 데이터 문제 해결의 중요성이 강조됩니다.

떠오르는 생성형 AI 응용 분야 중 하나가 지식 관리입니다. AI의 힘으로 기업은 지식 관리 도구를 사용하여 조직의 통찰력을 위한 관련 데이터를 수집, 생성, 액세스 및 공유할 수 있습니다. 지식 관리 소프트웨어 애플리케이션은 인재, 고객 서비스 및 애플리케이션 현대화를 포함한 비즈니스 영역과 작업을 지원하기 위해 중앙 집중식 시스템 또는 지식 기반으로 구현되는 경우가 많습니다.

HR, 인재 및 AI

인사부서는 콘텐츠 생성, 검색 증강 생성(RAG) 및 분류 등의 작업에 AI를 업무에 활용할 수 있습니다. 콘텐츠 생성을 활용하여 역할에 대한 설명을 빠르게 만들 수 있습니다. 검색 증강 생성(RAG)을 통해 내부 HR 문서를 기반으로 역할에 필요한 스킬을 식별할 수 있습니다. 분류는 신청자가 자신의 응용 프로그램에 따라 기업에 적합한지 여부를 결정하는 데 도움이 될 수 있습니다. 이러한 작업은 개인이 신청하는 시점부터 신청서에 대한 결정을 받을 때까지의 처리 시간을 간소화합니다.

고객 서비스와 AI

고객 서비스 부서는 RAG, 요약, 분류를 활용하여 AI의 이점을 활용할 수 있습니다. 예를 들어, 기업은 웹사이트에 고객 서비스 챗봇을 통합할 수 있습니다. 이 챗봇은 생성형 AI를 사용하여 보다 대화적이고 상황에 맞게 구성할 수 있습니다. 검색 증강 생성을 사용하면 조직 지식의 내부 문서를 검색하여 고객의 문의에 답변하고 맞춤형 아웃풋을 생성할 수 있습니다. 요약은 고객에게 고객의 문제 및 회사와의 이전 상호 작용에 대한 개요를 제공하여 직원을 도울 수 있습니다. 텍스트 분류를 활용하여 고객의 감정을 분류할 수 있습니다. 이러한 작업은 수작업을 줄이는 동시에 고객 지원을 개선하고 고객 만족도 및 유지를 개선할 수 있습니다.

애플리케이션 현대화 및 AI

앱 현대화는 요약 및 콘텐츠 생성 작업의 도움을 통해서도 달성될 수 있습니다. 회사의 지식과 비즈니스 목표에 대한 요약을 통해 개발자는 이 필요한 정보를 학습하는 데 소요되는 시간을 줄이고 코딩에 더 많은 시간을 할애할 수 있습니다. IT 작업자는 지원 티켓에서 발견된 문제를 신속하게 해결하고 우선 순위를 지정하기 위해 요약 티켓 요청을 만들 수도 있습니다. 개발자가 생성형 AI를 사용할 수 있는 또 다른 방법은 인간의 언어로 대규모 언어 모델(LLM)과 통신하고 모델에 코드 생성을 요청하는 것입니다. 이를 통해 개발자는 코드 언어를 번역하고, 버그를 해결하고, 코딩에 소요되는 시간을 줄여 보다 창의적인 아이디어를 구상할 수 있습니다.

조직에서는 AI 기반 지식 관리 시스템을 배포하면서 발생하는 데이터 과제를 해결하기 위해 데이터 레이크하우스가 필요합니다. AI의 확장에 도움이 되는 데이터 레이크의 유연성과 데이터웨어하우스의 성능을 결합합니다. 데이터 레이크하우스는 목적에 맞는 데이터 저장소입니다.

AI를 위한 데이터를 준비하기 위해 데이터 엔지니어는 단일 진입점에서 방대한 양의 소스와 하이브리드 클라우드 환경에 걸쳐 모든 유형의 데이터에 액세스할 수 있는 기능이 필요합니다. 여러 쿼리 엔진과 스토리지를 갖춘 데이터 레이크하우스를 통해 팀원들은 개방형 형식으로 데이터를 공유할 수 있습니다. 또한 엔지니어는 추가 파이프라인을 복제하거나 구축하지 않고도 AI/ML 모델링을 위해 데이터를 정리, 변환 및 표준화할 수 있습니다. 또한 기업은 데이터 엔지니어와 비기술 사용자가 자연어로 데이터를 쉽게 검색, 보강 및 강화할 수 있도록 생성형 AI를 통합하는 레이크하우스 솔루션을 고려해야 합니다. 데이터 레이크하우스는 AI 배포 및 데이터 파이프라인 생성의 효율성을 개선합니다.

AI 기반 지식 관리 시스템은 HR 이메일 자동화, 마케팅 비디오 번역, 콜센터 대화 내용 분석 등의 민감한 데이터를 보관합니다. 이러한 민감한 정보와 관련하여 보안 데이터에 액세스하는 것이 점점 더 중요해지고 있습니다. 고객은 데이터 카탈로그화, 액세스 제어, 보안 및 데이터 계보의 투명성을 지원하고, 내장된 중앙 집중식 거버넌스와 로컬 자동화 정책 시행을 제공하는 데이터 레이크하우스가 필요합니다.

데이터 레이크하우스 솔루션으로 설정된 이러한 데이터 기반을 통해 데이터 과학자는 관리되는 데이터를 자신 있게 사용하여 AI 모델을 구축, 학습, 조정 및 배포함으로써 신뢰와 확신을 확보할 수 있습니다.

앞서 언급했듯이, 챗봇은 고객 경험에 사용되는 인기 있는 생성형 AI 기반 지식 관리 시스템입니다. 이러한 애플리케이션은 기업에 가치를 창출할 수 있지만, 위험도 초래합니다.

예를 들어, 의료 회사의 챗봇은 이전 상호 작용에서 알려진 세부 정보를 사용하여 치료에 대한 질문에 답변함으로써 간호사 업무량을 줄이고 고객 서비스를 개선할 수 있습니다. 그러나 데이터 품질이 좋지 않거나 미세 조정이나 프롬프트 조정 중에 모델에 편향이 주입된 경우 모델을 신뢰할 수 없게 될 가능성이 높습니다. 결과적으로 챗봇은 부적절한 언어를 포함하거나 다른 환자의 개인정보를 유출하는 응답을 환자에게 제공할 수 있습니다.

이러한 상황이 발생하지 않도록 하려면 조직에서 AI 모델을 배포할 때 편향과 드리프트를 사전에 감지하고 완화해야 합니다. 자동 콘텐츠 필터링 기능을 통해 HAP 및 PII 유출을 감지하면 모델 유효성 검사자가 유해한 콘텐츠를 피하기 위해 수동으로 모델을 검증해야 하는 부담을 줄일 수 있습니다.

앞서 언급했듯이 지식 관리 전략은 조직 내에서 지식을 수집, 생성 및 공유하는 것을 말합니다. 이는 종종 이해관계자들과 공유할 수 있는 지식 공유 시스템으로 구현되어 기존의 집단적 지식과 조직의 통찰력을 학습하고 활용할 수 있습니다. 예를 들어, RAG AI 작업은 내부 인사 문서를 기반으로 직무에 필요한 기술을 파악하는 데 도움을 주거나 고객 서비스 챗봇이 내부 문서를 검색하여 고객의 문의에 답변하고 아웃풋을 생성하도록 지원할 수 있습니다.

생성형 AI 모델을 배포하려는 경우, 기업은 엔터프라이즈 데이터 및 목표로 맞춤화할 수 있는 고품질 데이터를 생성하거나 고품질 데이터에서 고품질 모델을 생성하거나 소싱한 신뢰할 수 있는 파트너와 협력해야 합니다. 

고객이 지식 관리를 해결할 수 있도록 돕기 위해 IBM watsonx.ai를 제공합니다. IBM watsonx 포트폴리오의 AI 제품 중 하나인 watsonx.ai는 파운데이션 모델과 기존 머신 러닝으로 구동되며, AI 라이프사이클을 아우르는 강력한 스튜디오로 새로운 생성형 AI 기능을 통합합니다. watsonx.ai로 생성형 AI, 파운데이션 모델, 머신 러닝 기능을 쉽게 훈련, 검증, 조정 및 배포하여 적은 데이터로 짧은 시간 내에 AI 애플리케이션을 구축할 수 있습니다.