프로젝트에 적합한 모델을 선택하는 데에는 여러 가지 요소가 고려됩니다.

모델의 라이선스에 따라 사용 방법이 제한될 수 있습니다. 예를 들어, 모델의 라이선스로 인해 상업용 애플리케이션의 일부로 사용하지 못할 수도 있습니다.

모델 학습에 사용되는 데이터 세트는 모델이 특정 애플리케이션에서 얼마나 잘 작동하는지에 직접적인 영향을 미치며, 모델이 무의미하거나 공격적이거나 단순히 원치 않는 응답을 생성할 수 있는 위험에 상당한 영향을 미칩니다. 마찬가지로 저작권이 있는 데이터나 개인 데이터를 기반으로 학습한 모델의 사용자는 법적 책임을 물어야 할 수도 있습니다. IBM은 완전한 학습 데이터 투명성을 제공하고 자사 모델에서 발생하는 법적 청구에 대한 면책을 제공합니다.

모델의 크기, 학습된 매개변수의 수, 컨텍스트 윈도우(모델이 수용할 수 있는 텍스트 구절 길이)의 크기는 모델 성능, 리소스 요구 사항, 처리량에 영향을 미칩니다. '더 큰 것이 낫다'다 철학을 고수하고 200억 개의 매개변수 모델을 선택하고 싶지만, 리소스 요구 사항과 정확도 개선(해당하는 경우)만으로는 이를 정당화하지 못할 수 있습니다. 최근 연구에 따르면 일부 솔루션에서는 작은 모델이 큰 모델보다 성능이 훨씬 뛰어날 수 있습니다.

모델에 적용된 모든 미세 조정은 작업에 대한 적합성에 영향을 줄 수 있습니다. 예를 들어, IBM은 Granite 모델의 두 가지 버전을 제공합니다. 하나는 일반 채팅 애플리케이션에 맞게 조정되었고 다른 하나는 명령을 따르도록 조정되었습니다.

모델을 선택할 때 고려해야 할 기타 사항은 다음과 같습니다.

• 모델 매개변수 선택. 예: 인간 같은 텍스트 생성과 사실적인 응답 간 균형을 맞추기 위한 모델 온도. 모델 온도를 높은 값으로 설정하면 일관되지만 잠재적으로 흥미롭지 않거나 지나치게 간결한 응답이 생성되고, 온도를 낮은 값으로 설정하면 응답에 더 많은 다양성이 도입되지만 응답 길이와 내용에 예측 불가능성이 추가됩니다.

• 비효율적이거나 모욕적인 결과를 방지하기 위한 모델 가드레일의 선택 및 구현.

모델 선택은 애플리케이션, 데이터 유형 및 언어 지원 요구 사항에 따라 달라집니다. 업계 또는 고객별 용어나 두문자어를 정확하게 인코딩하고 검색하려면 임베딩 모델을 확장해야 할 수 있습니다.

벡터 데이터베이스는 임베딩 데이터 저장소를 구현하기 위한 하나의 옵션일 뿐입니다. Watson Discovery는 RAG 솔루션의 성능과 정확성을 개선할 수 있는 추가 툴과 기능을 제공합니다. 일부 '기존' 데이터베이스는 벡터 스토리지 및 검색 및/또는 유사성 검색을 제공하여 RAG 솔루션을 지원합니다.

또한 벡터 데이터베이스를 위한 다양한 옵션이 있습니다. 생성형 AI 애플리케이션에 직접 내장된 단순한 인메모리 데이터베이스는 뛰어난 런타임 성능을 제공하지만 대규모 데이터 세트에 잘 확장되지 않을 수 있으며, 최신 상태를 유지하거나 다중 서버 구성으로 확장하는 데 상당한 운영상의 문제가 발생할 수 있습니다. 중앙 서버 아키텍처를 사용하는 다른 데이터베이스는 운영 및 확장이 더 쉽지만, 특정 솔루션의 성능 요구 사항을 충족하지 못할 수 있습니다.

검색 및 생성 모델을 통합하는 데에는 여러 가지 방법을 사용할 수 있습니다. 상위 K 구절을 검색하여 이를 사용자 쿼리를 보강하는 데 사용하는 것은 간단하고 편리하지만, 복잡한 질문의 답변에 필요한 뉘앙스가 부족할 수 있습니다. 키워드로 간단히 검색해도 만족스러운 결과를 얻을 수 있습니다.

더 복잡한 솔루션은 LLM을 사용하여 사용자의 원본 쿼리에서 여러 쿼리를 생성하고 이를 사용하여 더 큰 구문 집합을 검색할 수 있습니다. 관련성이 가장 높은 검색된 구절을 추가로 정렬하고 선택하기 위해 논리를 추가할 수 있습니다.

데이터를 RAG 시스템에 공급하기 전에 데이터를 전처리하는 것은 입력 데이터가 모델에 적합한 형식인지 확인하는 중요한 단계입니다. 간단한 방법은 입력 데이터를 겹치는 고정된 크기의 청크로 나누는 것입니다(예: 청크의 마지막 10문자가 다음 청크의 첫 10문자와 같음). 하지만 이 경우 입력 데이터의 뉘앙스를 놓칠 수 있습니다.

고급 전처리를 통해 입력 텍스트를 조작하여 일반적인 단어 어미 등을 제거할 수 있습니다. stopper, stopping, stopped는 모두 stop으로 바꾸고, the, as, is 등과 같이 정보를 제공하지 않는 '정지' 단어를 삭제하는 등의 기법을 사용합니다. 이는 검색된 정보의 관련성을 크게 향상시킬 수 있지만, 데이터 임베딩과 사용자 프롬프트 단계 모두에 복잡성을 더합니다.

훨씬 더 발전된 기술은 텍스트에서 가능한 한 많은 의미를 유지하기 위해 전체 문장에 대해 작동할 수 있습니다.

RAG 시스템의 성능 평가는 작업의 복잡한 특성으로 인해 어려울 수 있습니다. 일반적인 평가 메트릭에는 당혹성, 유창성, 관련성, 일관성이 포함되며 BLU 및 ROUGE 메트릭도 포함됩니다. 작업의 특정 목표와 원하는 결과에 부합하는 메트릭을 선택하는 것이 중요합니다.

RAG에는 일반 텍스트가 필요하며, 변환 방법 선택은 데이터 품질에 큰 영향을 미칩니다. 예를 들어, PDF 파일을 변환할 때 표, 이미지 및 기타 메타데이터 요소는 어떻게 처리될까요?

LLM에서 인간과 유사한 응답을 생성하려면 상당한 컴퓨팅 리소스가 필요하며, 모델의 크기, 사용자 쿼리의 복잡성, 모델에 전달되는 증강 정보의 양에 따라 몇 초가 걸릴 수 있습니다. 대규모 사용자 그룹에 서비스를 제공해야 하거나 빠른 응답 시간이 필요한 솔루션은 자주 발생하는 쿼리에 대한 모델 응답을 캐시하는 메커니즘을 구현해야 할 수 있습니다.

독점적이고, 기밀일 수 있으며, 잠재적으로 개인 식별이 가능한 정보를 LLM 프롬프트에 포함시키는 것은 RAG 패턴의 핵심이며 필수적입니다. 호스팅 모델 플랫폼을 사용하는 조직은 프롬프트 데이터가 다른 사용자 등에게 '유출'되지 않도록 프롬프트 데이터 보존 및 사용 정책( 예: 제공자가 프롬프트 데이터를 캡처하여 모델 재학습에 사용하는가?) 제어와 같은 제공자 정책을 숙지하고 자체 정보 보안 정책 및 제어와 균형을 맞춰야 합니다.

일부 독점 정보의 전송은 불가피하지만, 조직은 처리된 데이터에서 가장 중요한 정보에 대한 문서 또는 URL 참조만 포함하여 노출을 제한할 수 있습니다. 예를 들어, 가격 할인 테이블을 RAG 데이터에 포함시키는 대신 테이블에 대한 설명과 내부 문서 또는 웹사이트에 대한 참조 또는 링크만 콘텐츠에 포함할 수 있습니다.

영역 간 통신의 단순한 전송 수준 보안(TLS)만으로도 데이터 보안 요구 사항을 충족할 수 있지만, 아키텍트는 프롬프트와 응답을 영역 경계를 너머로 전달하기 전에 암호화하고 해독하는 구성 요소를 추가하여 추가 보호 기능을 제공하는 것을 고려해야 할 수 있습니다.

배포 영역 간의 연결 유형은 몇 가지 비기능 요구 사항에 영향을 줍니다. 공용 인터넷을 통한 가상 사설망(VPN) 연결을 사용하는 것은 저렴한 옵션이지만 보안 문제를 완전히 완화하지 못할 수 있으며, 솔루션의 응답 시간 또는 처리량 요구 사항을 충족하지 못할 수 있습니다. 모델 호스팅 환경에 대한 개인 네트워크 연결은 비용이 훨씬 더 많이 들지만 훨씬 더 나은 보안을 제공하고 아키텍트에게 네트워크 대기 시간 및 대역폭을 제어할 수 있는 기능을 제공합니다.