RAG 레시피: 클라우드 서비스가 산업 전반에서 생성형 AI 성과를 실현하는 방법

IBM의 연구에 따르면 설문조사에 참여한 기업의 약 42%가 비즈니스에서 AI를 사용하고 있습니다. 많은 사용 사례 중에서 질문에 답하고 이메일이나 에세이 작성과 같은 작업을 도와주는 자연어 처리 AI 챗봇은 이제 매우 친숙합니다. 하지만 이러한 챗봇이 널리 도입되고 있지만, 기업들은 여전히 여러 어려움을 겪고 있습니다. 예를 들어, 이러한 챗봇은 현재 쿼리와 관련이 없을 수 있는 대규모 데이터 저장소에서 가져오기 때문에 결과의 일관성이 떨어질 수 있습니다.

다행히도 검색 증강 생성(RAG)은 가장 정확한 최신 정보를 기반으로 대규모 언어 모델(LLM)을 구축할 수 있는 유망한 솔루션으로 부상했습니다. AI 프레임워크인 RAG는 LLM의 내부 정보 표현을 보완하기 위해 지식 소스를 기반으로 모델을 구축함으로써 LLM 생성 응답의 품질을 개선합니다. IBM은 2023년 5월 RAG를 제공하는 새로운 AI 제품 포트폴리오인 watsonx를 공개했습니다.

간단히 말해서, RAG를 활용한다는 것은 챗봇에게 모든 정보가 준비된 상태에서 질문에 답하도록 요청하여 모델이 오픈북 시험을 치르게 하는 것과 같습니다. 그렇다면 RAG는 인프라 수준에서 어떻게 작동할까요? 서비스형 플랫폼(PaaS) 서비스를 혼합하여 RAG를 쉽고 성공적으로 실행할 수 있으므로 LLM을 사용하는 여러 산업의 조직에서 생성형 AI 성과를 달성할 수 있습니다.

생성형 AI를 포함한 엔터프라이즈급 AI에는 지속 가능성이 높은 컴퓨팅 및 데이터 집약적인 분산 인프라가 필요합니다. AI는 RAG 프레임워크의 핵심 구성 요소이지만, PaaS 솔루션과 같은 다른 '요소'도 필수적입니다. 이러한 오퍼링, 특히 서버리스 및 스토리지 서비스는 백그라운드에서 부지런히 작동하여 데이터를 보다 쉽게 처리하고 저장할 수 있으므로 챗봇에서 더욱 정확한 아웃풋을 제공할 수 있습니다.

서버리스 기술은 주변 인프라를 관리하고 보호하여 RAG에서 제공하는 것과 같은 컴퓨팅 집약적 워크로드를 지원합니다. 이를 통해 개발자는 코딩에 집중할 수 있는 시간을 확보할 수 있습니다. 서버리스를 통해 개발자는 서버 또는 백엔드 인프라를 프로비저닝하거나 관리하지 않고도 애플리케이션 코드를 작성하고 실행할 수 있습니다.

개발자가 LLM 또는 챗봇에 데이터를 업로드하고 있지만 데이터를 올바른 형식으로 사전 처리하거나 특정 데이터 포인트에 맞게 필터링하는 방법을 잘 모르는 경우 IBM Cloud Code Engine이 이 모든 작업을 대신 수행하여 AI 모델에서 올바른 아웃풋을 얻는 전반적인 프로세스를 간소화할 수 있습니다. 완전 관리형 서버리스 플랫폼인 IBM Cloud Code Engine을 사용하면 기본 인프라를 관리하고 보호하는 자동화 기능을 통해 애플리케이션을 쉽게 확장할 수 있습니다.

또한 개발자가 LLM용 소스를 업로드하는 경우 매우 안전하고 복원력과 내구성이 있는 스토리지를 보유하는 것이 중요합니다. 이는 금융 서비스, 의료 및 통신과 같이 규제가 엄격한 산업에서 특히 중요합니다.

예를 들어, IBM Cloud Object Storage는 대량의 데이터를 저장할 수 있는 보안 및 데이터 내구성을 제공합니다. 변경 불가능한 데이터 보존 및 감사 제어 기능을 갖춘 IBM Cloud Object Storage는 랜섬웨어 공격으로 인한 데이터 변조나 조작으로부터 데이터를 보호하고 규정 준수 및 비즈니스 요구 사항을 충족하도록 RAG를 지원하여 데이터를 안전하게 보호합니다.

IBM Code Engine, Cloud Object Storage를 포함한 IBM의 방대한 기술 스택을 통해 여러 산업의 조직은 RAG를 원활하게 이용하고 비즈니스에 AI를 보다 효과적으로 활용하는 데 집중할 수 있습니다.

RAG가 생성형 AI 성과를 지원하는 데 매우 중요하다는 것을 확인했지만, 실제로는 어떤 모습일까요?

스웨덴의 선도적인 법률 서비스 제공업체인 Blendow Group은 법원 판결부터 법률 제정 및 판례에 이르기까지 다양한 법률 문서를 분석, 요약 및 평가하는 업무를 처리합니다. 비교적 소규모의 팀으로 구성된 Blendow Group은 법률 분석을 지원할 수 있는 확장가능한 솔루션이 필요했습니다. Blendow Group은 IBM Client Engineering 및 NEXER와의 협력을 통해 혁신적인 AI 기반 툴을 개발했으며, 이러한 툴의 포괄적인 기능을 활용하여 연구 및 분석을 강화하고 법률 콘텐츠 제작 프로세스를 간소화하는 동시에 민감한 데이터의 기밀성을 최대한 유지했습니다.

IBM Cloud Object Storage, IBM Code Engine 등 IBM의 기술 스택을 활용한 AI 솔루션은 Blendow의 법률 문서 분석 효율을 높이고 폭을 넓히도록 맞춤화되었습니다.

Mawson's Huts Foundation은 RAG를 활용하여 뛰어난 AI 성과를 달성한 또 다른 훌륭한 사례입니다. 이 재단은 호주가 영유권을 주장하는 42% 남극 영토를 포함한 Mawson의 유산을 보존하고, 학생들과 다른 사람들에게 남극 대륙 자체와 자연 그대로의 환경을 유지하는 것의 중요성에 대해 교육하는 것을 사명으로 합니다.

Mawson은 IBM Cloud에서 실행되는 AI 기반 학습 플랫폼인 The Antarctic Explorer를 통해 어린이와 다른 사용자가 어디에 있든 브라우저를 통해 남극 대륙에 액세스할 수 있도록 지원합니다. 사용자가 브라우저 기반 인터페이스를 통해 질문을 제출하면 학습 플랫폼은 IBM watsonx Assistant에서 제공하는 AI 기반 자연어 처리 기능을 사용하여 질문을 해석하고 관련 미디어(비디오, 이미지, 문서)와 함께 적절한 답변을 제공하며, 이 답변은 IBM Cloud Object Storage에 저장되고 검색할 수 있습니다.

Mawson Huts Foundation과 Blendow Group은 watsonx와 함께 서비스형 인프라 오퍼링을 활용함으로써 AI 모델에 포함된 데이터를 관리하고 저장하는 프로세스를 간소화하여 AI 모델에서 더 많은 인사이트를 얻을 수 있게 되었습니다.

생성형 AI와 LLM은 이미 산업 전반에서 조직을 혁신할 수 있는 큰 잠재력을 지니고 있음이 입증되었습니다. 많은 사람들을 교육하거나 법률 문서를 분석하는 등 클라우드 내 PaaS 솔루션은 RAG의 성공과 AI 모델 실행에 매우 중요합니다.

IBM은 AI 워크로드가 미션 크리티컬 워크로드의 중추를 형성하고 궁극적으로 가장 신뢰할 수 있는 데이터를 저장 및 관리하게 될 것이므로, 이를 둘러싼 인프라는 설계상 신뢰할 수 있고 복원력이 있어야 한다고 믿습니다. IBM Cloud를 통해 AI를 사용하는 모든 산업 분야의 기업은 더 높은 수준의 복원력, 성능, 보안, 규정 준수, 총 소유 비용의 이점을 누릴 수 있습니다. 아래에서 IBM Cloud Code Engine 및 IBM Cloud Object Storage에 대해 자세히 알아보세요.