검색 증강 생성(RAG)이란 무엇인가요?

생성형 AI(Gen AI) 모델은 대규모 데이터 세트를 기반으로 학습되고 이 정보를 참조하여 아웃풋을 생성합니다. 그러나 학습 데이터 세트는 제한되어 있으며, AI 개발자가 액세스할 수 있는 정보(공개 도메인 저작물, 인터넷 기사, 소셜 미디어 콘텐츠 및 기타 공개적으로 액세스할 수 있는 데이터)로 제한됩니다.

RAG를 사용하면 생성형 AI 모델이 조직 내부 데이터, 학술 저널, 전문 데이터 세트 등 추가적인 외부 지식 기반에 액세스할 수 있습니다. 챗봇 및 기타 자연어 처리(NLP) 도구는 관련 정보를 생성 프로세스에 통합함으로써 추가 학습 없이도 보다 정확한 도메인별 콘텐츠를 생성할 수 있습니다.

RAG는 조직이 생성형 AI 모델을 도메인별 사용 사례에 맞게 조정할 때 높은 재학습 비용을 피할 수 있도록 합니다. 기업은 RAG를 사용하여 머신 러닝 모델의 지식 기반 격차를 메우고 더 뛰어난 답변을 제공할 수 있습니다.

RAG의 주요 이점은 다음과 같습니다.

• 비용 효율적인 AI 구현 및 AI 확장

• 현재 도메인별 데이터에 액세스

• AI 할루시네이션의 위험 감소

• 사용자 신뢰 향상

• 사용 사례 확장

• 개발자 제어 및 모델 유지보수 개선

• 데이터 보안 강화

대부분의 조직은 AI를 구현할 때 먼저 파운데이션 모델(고급 버전을 개발하기 위한 기반이 되는 딥러닝 모델)을 선택입니다. 파운데이션 모델에는 일반적으로 학습 시점에 사용할 수 있는 인터넷 콘텐츠와 같이 공개적으로 사용 가능한 학습 데이터로 채워진 일반화된 지식 기반이 있습니다.

파운데이션 모델을 재학습시키거나 미세 조정하는 작업(파운데이션 모델을 더 작은 도메인별 데이터 세트에 있는 새 데이터에 대해 추가로 학습시키는 작업)은 계산 비용이 많이 들고 리소스도 많이 필요합니다. 모델은 매개변수의 일부 또는 전부를 조정하여 새로운 특수 데이터에 맞게 성능을 조정합니다.

기업은 RAG를 통해 신뢰할 수 있는 내부 데이터 소스를 사용하고 재학습 없이도 모델 성능을 유사하게 향상시킬 수 있습니다. 기업은 필요에 따라 AI 애플리케이션 구현을 확장하는 동시에 비용 및 리소스 요구 사항 증가를 해결할 수 있습니다.

생성형 AI 모델에는 지식 제한 시점, 즉 학습 데이터가 마지막으로 업데이트된 시점이 있습니다. 모델이 지식 제한 시점을 넘어 노후화되면 시간이 지남에 따라 관련성을 잃게 됩니다. RAG 시스템은 모델을 외부의 보충 데이터와 실시간으로 연결하고 생성된 응답에 최신 정보를 통합합니다.

기업은 RAG를 사용하여 독점 고객 데이터, 권위 있는 연구 및 기타 관련 문서와 같은 특정 정보를 모델에 탑재할 수 있습니다.

RAG 모델은 애플리케이션 프로그래밍 인터페이스(API)를 통해 인터넷에 연결하고 실시간 소셜 미디어 피드와 소비자 후기에 액세스하여 시장 심리를 더 잘 파악할 수도 있습니다. 한편, 모델이 속보와 검색 엔진에 액세스하여 검색된 정보를 텍스트 생성 프로세스에 통합할 수 있어 더 정확한 응답을 제공할 수 있습니다.

OpenAI의 GPT와 같은 생성형 AI 모델은 데이터에서 패턴을 감지한 다음 해당 패턴을 사용하여 사용자 입력에 대해 가능성이 가장 높은 결과를 예측하는 방식으로 작동합니다. 때로는 모델이 존재하지 않는 패턴을 감지하기도 합니다. 할루시네이션, 즉 혼동은 모델이 부정확하거나 조작된 정보를 마치 사실인 것처럼 제시할 때 발생합니다.

RAG는 사실적이고 권위 있는 최신 데이터를 기반으로 하는 특정 지식을 LLM의 기반으로 제공합니다. 학습 데이터에서만 작동하는 생성형 모델에 비해, RAG 모델은 외부 데이터의 컨텍스트 내에서 더 정확한 답변을 제공하는 경향이 있습니다. RAG는 할루시네이션의 위험을 줄일 수 있지만 모델 오류를 완벽하게 방지할 수는 없습니다.

일반적인 생성형 AI의 구현인 챗봇은 인간 사용자가 제기한 질문에 답합니다. ChatGPT와 같은 챗봇이 성공하려면 사용자는 챗본의 아웃풋을 신뢰할 수 있는 것으로 간주해야 합니다. RAG 모델은 외부 데이터의 지식 소스에 대한 인용을 응답의 일부로 포함시킬 수 있습니다.

RAG 모델이 출처를 인용하면 인간 사용자는 해당 아웃풋을 검증하여 정확성을 확인하는 동시에 인용된 저작물을 참조하여 후속 설명 및 추가 정보를 확인할 수 있습니다. 기업 데이터 스토리지는 종종 복잡하고 사일로화된 미로와도 같습니다. 인용이 포함된 RAG 응답은 사용자가 필요한 자료로 직접 연결될 수 있도록 안내합니다.

더 많은 데이터에 액세스할 수 있다는 것은 하나의 모델이 더 다양한 프롬프트를 처리할 수 있다는 것을 의미합니다. 기업은 지식 기반을 확장하여 모델을 최적화하고 모델을 통해 더 많은 가치를 얻을 수 있으며, 결과적으로 해당 모델이 신뢰할 수 있는 결과를 생성하는 컨텍스트를 확장할 수 있습니다.

RAG 모델은 생성형 AI와 검색 시스템을 결합함으로써 복잡한 쿼리에 대한 응답으로 여러 데이터 소스에서 정보를 검색하고 통합할 수 있습니다.

현대 조직은 주문 입력부터 시장 예측, 직원 이직률 등에 이르기까지 방대한 양의 데이터를 지속적으로 처리합니다. 강력한 RAG 구현을 위해서는 효과적인 데이터 파이프라인 구축과 데이터 저장이 무엇보다도 중요합니다.

동시에 개발자와 데이터 과학자는 모델이 액세스할 수 있는 데이터 소스를 언제든지 조정할 수 있습니다. 한 작업에서 다른 작업으로 모델을 재배치하는 것은 미세 조정이나 재학습이 아니라, 외부 지식 소스를 조정하는 작업으로도 가능해집니다. 미세 조정이 필요한 경우 개발자는 모델의 데이터 소스를 관리하는 대신 해당 작업의 우선순위를 지정할 수 있습니다.

RAG는 외부 지식을 모델의 학습 데이터에 통합하지 않고 모델을 해당 지식 소스에 연결하기 때문에 모델과 외부 지식 사이의 구분을 유지합니다. 기업은 RAG를 사용하여 자사 데이터를 보존하는 동시에 모델에 액세스할 수 있는 액세스 권한을 부여할 수 있으며, 이러한 액세스 권한은 언제든지 취소할 수 있습니다.

그러나 기업은 외부 데이터베이스 자체의 보안을 유지하기 위해 경계 태세를 유지해야 합니다. RAG는 임베딩을 사용하여 데이터 포인트를 수치 표현으로 변환하는 벡터 데이터베이스를 사용합니다. 이러한 데이터베이스가 유출되면 공격자는 벡터 임베딩 프로세스를 역이용하여 원본 데이터에 액세스할 수 있으며, 특히 벡터 데이터베이스가 암호화되지 않은 경우 이러한 문제가 발생하기 더욱 쉽습니다.

RAG 시스템은 기본적으로 사용자가 대화형 언어로 데이터베이스를 쿼리할 수 있도록 합니다. RAG 시스템의 데이터 기반 질문 답변 기능은 다음을 포함한 다양한 사용 사례에 적용되었습니다.

• 전문 챗봇 및 가상 어시스턴트
   

• 연구
   

• 콘텐츠 생성
   

• 시장 분석 및 제품 개발
   

• 지식 엔진
   

• 추천 서비스

고객 지원을 자동화하려는 기업은 AI 모델에 고객을 적절하게 지원하는 데 필요한 전문 지식이 부족하다는 사실을 파악할 수도 있습니다. RAG AI 시스템은 모델을 내부 데이터에 연결하여 고객 지원 챗봇에 회사의 제품, 서비스, 정책에 대한 최신 지식을 장착합니다.

AI 아바타와 개인 어시스턴트에도 동일한 원칙이 적용됩니다. 기본 모델을 사용자의 개인 데이터와 연결하고 이전 상호 작용을 참조하면 사용자에게 보다 맞춤화된 경험을 제공할 수 있습니다.

RAG 모델은 내부 문서를 읽고 검색 엔진과 상호작용할 수 있어 연구에 탁월한 능력을 발휘합니다. 재무 분석가는 최신 시장 정보와 이전 투자 활동이 포함된 고객별 보고서를 생성할 수 있으며, 의료 전문가는 환자 및 기관 기록을 활용할 수 있습니다.

신뢰할 수 있는 출처를 인용하는 RAG 모델의 기능은 보다 신뢰할 수 있는 콘텐츠 생성으로 이어질 수 있습니다. 모든 생성형 AI 모델은 할루시네이션을 일으킬 수 있지만, RAG를 사용하면 사용자가 아웃풋의 정확성을 더 쉽게 확인할 수 있습니다.

비즈니스 리더는 소셜 미디어 트렌드, 경쟁사 활동, 부문 관련 속보 및 기타 온라인 소스를 참조하여 더 많은 정보를 기반으로 비즈니스 의사 결정을 내릴 수 있습니다. 한편, 제품 관리자는 향후 개발 선택을 고려할 때 고객 피드백과 사용자 행동을 참조할 수 있습니다.

RAG 시스템은 회사 내부 정보를 통해 직원들의 역량을 강화할 수 있습니다. 간소화된 온보딩 프로세스, 더 빠른 HR 지원, 현장 직원을 위한 온디맨드형 지침은 기업이 RAG를 사용하여 업무 성능을 향상하는 방법 중 일부에 불과합니다.

RAG 시스템은 이전 사용자 행동을 분석하고 이를 현재 제품과 비교함으로써 보다 정확한 추천 서비스를 제공합니다. 전자상거래 플랫폼과 콘텐츠 전송 서비스 모두 RAG를 사용하여 고객의 참여와 소비를 유지할 수 있습니다.

RAG는 정보 검색 모델과 생성형 AI 모델을 결합하여 보다 신뢰할 수 있는 콘텐츠를 생성하는 방식으로 작동합니다. RAG 시스템은 응답을 생성하기 전에 지식 기반을 쿼리하고 사용자 프롬프트에 더 많은 컨텍스트를 추가합니다.

표준 LLM은 학습 데이터 세트에서 정보를 소싱합니다. RAG는 AI 워크플로에 정보 검색 구성 요소를 추가하여 관련 정보를 수집하고 이를 생성형 AI 모델에 공급하여 응답 품질과 유틸리티를 개선합니다.

RAG 시스템은 다음과 같은 5단계 프로세스를 따릅니다.

1. 사용자가 프롬프트를 제출합니다.
    

2. 정보 검색 모델은 관련 데이터에 대한 기술 자료를 쿼리합니다.
    

3. 관련 정보는 지식 기반에서 통합 계층으로 반환됩니다.
    

4. RAG 시스템은 LLM에 검색된 데이터에서 향상된 컨텍스트가 포함된 증강 프롬프트를 엔지니어링합니다.
    

5. LLM은 아웃풋을 생성하고 사용자에게 아웃풋을 반환합니다.

이 프로세스는 RAG가 어떻게 그 이름을 얻었는지 보여줍니다. RAG 시스템은 지식 기반에서 데이터를 검색하고, 추가된 컨텍스트가 포함된 프롬프트를 증강하며, 응답을 생성합니다.

RAG 시스템에는 다음과 같은 네 가지 주요 구성 요소가 포함되어 있습니다.

• 지식 기반: 시스템의 외부 데이터 저장소입니다.

• 검색기: 지식 기반에서 관련 데이터를 검색하는 AI 모델입니다.

• 통합 계층: RAG 아키텍처의 전체 기능을 조정하는 부분입니다.

• 생성기: 사용자 쿼리와 검색된 데이터를 기반으로 아웃풋을 생성하는 생성형 AI 모델입니다.

다른 구성 요소에는 관련성에 따라 검색된 데이터의 순위를 매기는 랭커와 사용자를 위해 생성된 응답의 형식을 지정하는 아웃풋 처리기가 포함될 수 있습니다.

RAG 시스템 구축의 첫 번째 단계는 쿼리 가능한 기술 기반을 만드는 것입니다. 외부 데이터 저장소에는 PDF, 문서, 가이드, 웹사이트, 오디오 파일 등 수많은 소스의 데이터가 포함될 수 있습니다. 이 중 대부분은 아직 레이블이 지정되지 않은 비정형 데이터입니다.

RAG 시스템은 임베딩이라는 프로세스를 사용하여 데이터를 벡터라는 수치적 표현으로 변환합니다. 임베딩 모델은 다차원 수학적 공간에서 데이터를 벡터화하여 유사성에 따라 데이터 포인트를 정렬합니다. 서로 관련성이 더 가깝다고 판단되는 데이터 포인트는 서로 가깝게 배치됩니다.

RAG 시스템의 품질과 관련성을 유지하려면 기술 기반을 지속적으로 업데이트해야 합니다.

LLM 입력은 모델의 컨텍스트 창, 즉 컨텍스트를 잃지 않고 처리할 수 있는 데이터의 양으로 제한됩니다. 문서를 더 작은 크기로 청킹(분할)하면 결과적으로 생성되는 임베딩이 RAG 시스템의 LLM 컨텍스트 창을 압도하지 않도록 하는 데 도움이 됩니다.

청크 크기는 RAG 시스템의 중요한 하이퍼매개변수입니다. 청크가 너무 크면 데이터 포인트가 너무 일반화되어 잠재적인 사용자 쿼리에 직접적으로 대응하지 못할 수 있습니다. 그러나 청크가 너무 작으면 데이터 포인트의 의미론적 일관성을 잃을 수 있습니다.

데이터를 벡터화하면 데이터베이스에서 사용자의 쿼리와 유사한 지점을 식별하는 기술인 의미론적 벡터 검색을 위한 지식 기반이 준비됩니다. 시맨틱 검색 머신 러닝 알고리즘은 방대한 데이터베이스를 쿼리하고 관련 정보를 신속하게 식별하여 기존 키워드 검색에 비해 지연 시간을 줄일 수 있습니다.

정보 검색 모델은 사용자의 쿼리를 임베딩으로 변환한 다음 지식 기반에서 유사한 임베딩을 검색합니다. 그런 다음 지식 기반에서 결과가 반환됩니다.

통합 계층은 RAG 아키텍처의 중심으로, 프로세스를 조정하고 네트워크를 통해 데이터를 전달합니다. RAG 시스템은 지식 기반에서 추가된 데이터를 사용하여 LLM 구성 요소에 대한 프롬프트를 만듭니다. 이 프롬프트는 사용자 쿼리와 검색 모델에서 반환된 개선된 컨텍스트로 구성됩니다.

RAG 시스템은 다양한 프롬프트 엔지니어링 기술을 사용하여 효과적인 프롬프트 생성을 자동화하고 LLM이 가능한 가장 좋은 응답을 반환하도록 돕습니다. 한편, 오픈 소스인 LangChain와 LlamaIndex 또는 IBM® watsonx Orchestrate와 같은 LLM 오케스트레이션 프레임워크는 AI 시스템의 전반적인 기능을 제어합니다.

생성기는 통합 계층에서 제공하는 증강 프롬프트를 기반으로 아웃풋을 생성합니다. 프롬프트는 검색된 데이터와 사용자 입력을 합성하고 생성기가 응답에서 이 데이터를 고려하도록 지시합니다. 생성기는 일반적으로 GPT, Claude 또는 Llama와 같은 사전 학습된 언어 모델입니다.

RAG와 미세 조정의 차이점은 RAG는 LLM이 외부 데이터 원본을 쿼리할 수 있도록 하는 반면, 미세 조정은 도메인별 데이터에 대해 LLM을 학습시킬 수 있다는 것입니다. 둘 다 지정된 도메인에서 LLM의 성능을 높인다는 일반적인 목표를 가지고 있습니다.

RAG와 미세 조정은 대조되는 경우가 많지만 함께 사용할 수 있습니다. 미세 조정은 의도한 도메인 및 아웃풋 요구 사항에 대한 모델의 친숙도를 높이는 반면, RAG는 모델이 관련성 있는 고품질 아웃풋을 생성하는 데 도움을 줍니다.