RAG와 미세 조정 비교

생성형 AI는 처음 등장한 후로 많은 발전을 이루었지만, 사용자 쿼리에 대한 실시간 자동 응답을 생성하는 작업은 여전히 중요한 과제로 남아 있습니다. 기업들이 생성형 AI를 프로세스에 통합하여 비용을 절감하고 워크플로를 간소화하며 경쟁업체보다 앞서 나가기 위해 경쟁하면서, 챗봇과 기타 모델을 통해 정확한 답변을 안정적으로 생성하는 데 어려움을 겪는 경우가 많습니다.

RAG는 조직의 독점 데이터베이스에 연결하여 자연어 처리(NLP) 모델을 보강하는 반면, 미세 조정은 도메인별 작업에 맞게 딥 러닝 모델을 최적화한다는 점에서 다릅니다.. RAG와 미세 조정은 모델의 성능을 개선해 모델을 사용하는 기업의 가치를 극대화한다는 동일한 목적을 가지고 있습니다.

RAG는 조직의 내부 데이터를 사용하여 프롬프트 엔지니어링을 보강하고, 미세 조정은 집중된 외부 데이터 세트에서 모델을 재학습시켜 성능을 개선합니다.

RAG는 다른 방법으로는 액세스할 수 없는 최신 비공개 데이터 저장소에 LLM을 연결합니다. RAG 모델에는 내부 데이터의 컨텍스트가 추가되므로 더 정확한 답변을 반환할 수 있습니다.

미세 조정된 모델은 일반적으로 도메인별 데이터로 학습했을 때 GPT-3 또는 GPT-4와 같은 해당 기본 모델보다 뛰어난 성능을 제공합니다. 세밀하게 조정된 LLM은 특정 도메인과 해당 용어를 더 잘 이해하여 정확한 응답을 생성할 수 있습니다.

새로운 데이터에 지속적으로 액세스하지 않으면 대규모 언어 모델이 정체됩니다. 최신 LLM은 방대한 데이터 세트와 컴퓨팅 리소스로 학습해야 하는 대규모 신경망입니다. Meta, Microsoft, OpenAI와 같은 대형 LLM 공급업체도 주기적으로 모델을 재학습시키기 때문에, 모든 LLM은 출시되는 순간 거의 즉시 쓸모없게 됩니다.

모델이 새로운 데이터로부터 학습할 수 없을 때, 생성형 AI 모델은 확실하게 답할 수 없는 질문에 대한 답을 '만들어내는' 현상인 할루시네이션을 겪거나 혼란에 빠집니다. 생성형 AI 모델은 복잡한 통계 알고리즘을 사용하여 사용자 쿼리에 대한 응답을 예측합니다. AI가 학습 데이터 세트 내에서 쉽게 찾을 수 없는 것을 사용자가 질문하는 경우, AI가 취할 수 있는 최선의 행동은 추측하는 것입니다.

RAG는 Meta AI가 2020년 발표한 'Retrieval-Augmented Generation for Knowledge-Intensive Tasks'라는 논문에서 소개한 LLM 최적화 방법입니다.^[1] 이는 데이터 레이크하우스에 저장된 조직의 독점 데이터에 LLM을 연결하는 데이터 아키텍처 프레임워크입니다. 이러한 방대한 데이터 플랫폼은 동적이며 내부 및 외부의 모든 접점에서 조직을 통해 이동하는 모든 데이터를 포함합니다.

검색 증강 생성은 사용자의 쿼리와 관련된 내부 데이터 소스에서 정보를 찾은 다음 해당 데이터를 사용하여 보다 정확한 응답을 생성하는 방식으로 작동합니다. 데이터 '검색' 메커니즘은 LLM이 더 관련성 높은 응답을 '생성'할 수 있도록 도움으로써 LLM을 '증강'하기 위해 추가됩니다.

RAG 모델은 4단계 프로세스를 거쳐 응답을 생성합니다.

1. 쿼리: 사용자가 쿼리를 제출하면 RAG 시스템이 시작됩니다.

2. 정보 검색: 복잡한 알고리즘이 조직의 지식 기반을 결합하여 관련 정보를 검색합니다.

3. 통합: 검색된 데이터는 사용자의 쿼리와 결합되어 RAG 모델에 제공되어 응답합니다. 이 시점까지 LLM은 쿼리를 처리하지 않았습니다.

4. 응답: LLM은 검색된 데이터를 자체 학습 지식 및 저장된 지식과 결합하여 상황에 맞는 정확한 응답을 생성합니다.

RAG 시스템은 내부 문서를 검색할 때 시맨틱 검색을 사용합니다. 벡터 데이터베이스는 데이터를 유사성 기준으로 구성하므로 키워드가 아닌 의미로 검색할 수 있습니다. 시맨틱 검색 기술을 사용하면 RAG 알고리즘이 과거의 키워드를 쿼리 의도에 맞게 검색하여 가장 관련성이 높은 데이터를 반환합니다.

RAG 시스템에는 광범위한 데이터 아키텍처 구축 및 유지 관리가 필요합니다. 데이터 엔지니어는 조직의 데이터 레이크하우스를 LLM에 연결하기 위해 필요한 데이터 파이프라인을 구축해야 합니다.

RAG를 개념화하기 위해 생성형 AI 모델을 아마추어 가정 요리사라고 생각해보겠습니다. 요리의 기본은 알고 있지만, 특정 요리에 대해 훈련을 받은 요리사들이 가진 전문 지식(조직의 독점 데이터베이스)은 부족합니다. RAG는 가정 요리사에게 해당 요리에 관한 책을 제공하는 것과 같습니다. 가정 요리사는 요리에 대한 일반적인 지식과 요리책의 요리법을 결합하여 자신이 가장 좋아하는 요리를 쉽게 만들 수 있습니다.

RAG를 효과적으로 사용하려면 데이터 엔지니어는 일련의 중요한 기준을 충족하는 데이터 스토리지 시스템과 파이프라인을 만들어야 합니다.

RAG 시스템 기능을 향상하고 실시간 데이터 검색을 가능하게 하려면 데이터를 꼼꼼하게 정리하고 유지 관리해야 합니다. 최신 데이터 메타데이터와 최소한의 데이터 중복성은 효과적인 쿼리를 보장하는 데 도움이 됩니다.

문서와 같은 비정형 데이터를 더 작은 조각으로 나누면 더 효과적으로 검색할 수 있습니다. 이러한 방식으로 데이터를 '청크'로 만들면 문서에서 가장 관련성이 높은 부분만 LLM 프롬프트에 포함되므로 RAG 시스템은 비용을 절감하면서 더 정확한 데이터를 반환할 수 있습니다.

다음으로, 텍스트를 숫자로 변환하는 프로세스인 청크를 벡터 데이터베이스에 임베드합니다.

데이터 파이프라인에는 직원이 각자의 역할 범위를 벗어난 데이터에 액세스하지 못하도록 하는 보안 제한이 포함되어야 합니다. 또한 EU의 GDPR과 같은 획기적인 개인정보 보호법이 시행됨에 따라 조직은 모든 내부 데이터에 엄격한 데이터 보호 조치를 적용해야 합니다. 개인 식별 정보(PII)는 권한이 없는 사용자에게 절대로 공개되어서는 안 됩니다.

RAG 시스템은 사용자의 쿼리를 소스 데이터와 결합하여 LLM에 대한 맞춤형 프롬프트를 생성합니다. 다른 머신 러닝 모델에 의해 촉진되는 지속적인 프롬프트 튜닝 프로세스는 시간이 지남에 따라 RAG 시스템의 질문 답변 능력을 강화할 수 있습니다.

미세 조정은 사전 학습된 모델을 더 작고 집중된 학습 데이터 세트로 재학습시켜 도메인별 지식을 제공하는 프로세스입니다. 그런 다음 모델은 매개변수(동작을 제어하는 지침)와 임베딩을 특정 데이터 세트에 더 적합하도록 조정합니다.

미세 조정은 레이블이 지정된 예제의 데이터 세트에 모델을 노출하는 방식으로 이루어집니다. 모델은 새로운 데이터를 기반으로 모델 가중치를 업데이트하면서 초기 학습을 개선합니다. 미세 조정은 정리되고 레이블이 지정된 학습 데이터를 사용하는 지도 학습 방법입니다. 이와 대조적으로 대부분의 기본 모델은 데이터가 분류되지 않은 비지도 학습을 거치기 때문에 모델이 데이터를 스스로 분류해야 합니다.

앞서 사용한 가정으로 돌아가서 생성형 AI 모델을 가정 요리사라고 상상해 보면, 미세 조정은 특정 요리를 위한 요리 수업이 될 것입니다. 가정 요리사는 수업을 듣기 전에 요리의 기본에 대한 일반적인 이해를 가지고 있습니다. 그러나 요리 수업을 듣고 해당 분야의 지식을 쌓은 후에는 이 유형의 음식을 훨씬 더 능숙하게 요리할 수 있을 것입니다.

모델은 모든 매개변수를 업데이트하여 전체 미세 조정되거나, 가장 관련성이 높은 매개변수만 업데이트하는 방식으로 미세 조정될 수 있습니다. 이 중 후자의 프로세스를 매개변수 효율적 미세 조정(PEFT)이라고 하며, 학습 비용을 낮게 유지하면서 모델을 특정 도메인에 대해 더 효과적으로 만드는 데 적합합니다.

모델을 미세 조정하는 작업은 컴퓨팅 집약적이며 여러 대의 강력한 GPU를 동시에 실행해야 할 뿐만 아니라 LLM 자체를 저장하는 메모리가 필요합니다. LLM 사용자는 PEFT를 통해 더 간단한 하드웨어 설정으로 모델을 재학습시키는 동시에 모델의 의도된 사용 사례(고객 지원 또는 감정 분석 등)에서 유사한 성능 업그레이드를 반환할 수 있습니다. 미세 조정은 특히 모델의 예측과 실제 결과 사이의 차이인 편향성을 극복하는 데 탁월한 효과를 제공합니다.

사전 학습은 학습 프로세스의 시작 단계에서 발생합니다. 모델 가중치 또는 매개변수가 무작위로 초기화되고 모델이 초기 데이터 세트에 대한 학습을 시작합니다. 지속적인 사전 학습은 학습된 모델에 레이블이 지정되지 않은 새 데이터 세트를 적용하는, 전이 학습이라고 알려진 방법을 사용합니다. 사전 학습된 모델은 지금까지 학습한 내용을 새로운 외부 정보로 '전송'합니다.

반면에 미세 조정은 레이블이 지정된 데이터를 사용하여 선택한 사용 사례에서 모델의 성능을 개선합니다. 미세 조정은 특정 작업에 대한 모델의 전문 지식을 연마하는 데 탁월하며, 지속적인 사전 학습은 모델의 도메인 전문 지식을 심화할 수 있습니다.