생성형 검색은 생성형 AI 모델과 검색 기능의 조합입니다. 대규모 언어 모델(LLM)의 콘텐츠 생성 및 요약 기능으로 검색 솔루션의 검색 및 검색 기능을 확장합니다. 생성형 검색의 개념적 아키텍처는 아래 다이어그램에 나타나 있습니다.
Word 문서, PDF, 웹 데이터 및 기타 정형 및 비정형 텍스트를 포함한 클라이언트 문서는 Content Analysis 구성 요소로 수집되어 의미 기반 검색을 위해 준비됩니다.
사용자는 Content Analysis 사용자 인터페이스를 사용하여 질문을 제출합니다.
Content Analysis 구성 요소는 사용자의 질문을 사용하여 질문과 가장 관련성이 높은 문서와 정보 구문을 식별합니다. 사용자의 질문에 따라 이 구성 요소는 질문과 관련 문서 및 구문을 LLM에 전송하여 사람과 유사한 응답을 생성합니다.
LLM은 생성된 응답을 반환하며 이 응답은 사용자에게 전달됩니다.
IBM watsonx 제품군을 생성형 검색 패턴에 매핑한 내용은 아래 다이어그램에 표시되어 있습니다. IBM Watson Discovery는 Content Analysis 구성 요소의 문서 수집, 문서 이해, 콘텐츠 분석 및 인사이트 제공에 사용됩니다. IBM watsonx.ai는 Watson Discovery를 확장하는 데 사용되는 대규모 언어 모델을 선택, 조정, 테스트 및 배포하는 데 사용됩니다.
일부 고객은 지역에서 watsonx.ai를 사용할 수 없거나 보안 문제 또는 규제 요구 사항으로 인해 watsonx.ai SaaS 솔루션을 사용할 수 없을 수 있습니다. 이러한 고객을 위해 IBM은 watsonx.ai를 일련의 컨테이너화된 서비스로 제공합니다. 이 서비스는 고객의 데이터 센터 내에서, 클라우드 서비스 제공업체 인프라의 가상 프라이빗 클라우드(VPC) 내에서 실행되는 Red Hat Openshift에 배포할 수 있습니다.
아키텍처 결정 및 고려 사항
프로젝트에 적합한 모델을 선택하는 데에는 여러 가지 요소가 고려됩니다.
모델의 라이선스에 따라 사용 방법이 제한될 수 있습니다. 예를 들어, 모델의 라이선스로 인해 상업용 애플리케이션의 일부로 사용하지 못할 수도 있습니다.
모델 학습에 사용되는 데이터 세트는 특정 애플리케이션에서 모델이 얼마나 잘 작동하는지에 직접적인 영향을 미치며 모델이 비논리적이거나 불쾌하거나 단순히 원치 않는 응답을 생성할 위험에도 큰 영향을 줍니다. 마찬가지로 저작권이 있거나 개인 데이터로 학습된 모델은 사용자에게 법적 책임을 발생시킬 수 있습니다. IBM은 학습 데이터의 완전한 투명성과 모델로 인해 발생하는 법적 청구에 대한 면책을 제공합니다.
모델의 크기, 즉 학습에 사용된 매개변수 수와 컨텍스트 창의 크기, 즉 모델이 처리할 수 있는 텍스트 길이는 모델 성능, 리소스 요구 사항, 비용 및 처리량에 영향을 미칩니다. "클수록 좋다"는 접근 방식으로 200억 매개변수 모델을 선택하고 싶을 수 있지만 필요한 리소스와 정확도 향상(있다면)이 이를 정당화하지 못할 수도 있습니다. 최근 연구에 따르면 일부 솔루션에서는 더 작은 모델이 더 큰 모델보다 훨씬 뛰어난 성능을 보일 수 있습니다.
모델에 적용된 모든 미세 조정은 작업에 대한 적합성에 영향을 줄 수 있습니다. 예를 들어, IBM은 Granite 모델의 두 가지 버전을 제공합니다. 하나는 일반 채팅 애플리케이션에 맞게 조정되었고 다른 하나는 명령을 따르도록 조정되었습니다.
모델을 선택할 때 고려해야 할 기타 사항은 다음과 같습니다.
모델 매개변수 선택. 예: 인간 같은 텍스트 생성과 사실적인 응답 간 균형을 맞추기 위한 모델 온도. 모델 온도를 높은 값으로 설정하면 일관되지만 잠재적으로 흥미롭지 않거나 지나치게 간결한 응답이 생성되고, 온도를 낮은 값으로 설정하면 응답에 더 많은 다양성이 도입되지만 응답 길이와 내용에 예측 불가능성이 추가됩니다.
비효율적이거나 모욕적인 결과를 방지하기 위한 모델 가드레일의 선택 및 구현.
클라이언트 데이터와 사용자 프롬프트의 언어도 고려해야 합니다. 대부분의 LLM은 영어 텍스트로 학습되었으며 영어와 다른 언어 간 번역을 다양한 수준의 정확도로 수행할 수 있습니다. 다국어 또는 현지화된 언어 지원이 필요한 애플리케이션은 지원되는 각 언어로 학습된 여러 모델을 사용하거나 다국어 입력을 영어 또는 다른 "기본" 언어로 변환하는 번역 단계를 구현해야 할 수 있습니다.
일부 고객은 시스템 응답을 지속적으로 개선하기 위한 피드백 메커니즘을 원할 수 있습니다. 시간이 지나면서 이러한 피드백은 Watson Discovery 구성(예: 검색 매개변수 조정)을 개선하고 LLM을 미세 조정하는 데 도움이 될 수 있습니다.
규제가 있는 산업의 고객은 규정을 준수하기 위해 추가 모니터링 계층을 포함하고 사용자에게 쿼리가 처리되는 방식과 응답 생성에서 AI의 역할에 대한 투명성을 제공하기를 원할 수 있습니다.
다른 통합 시스템과 마찬가지로 성능, 사용자 만족도 및 잠재적 문제를 지속적으로 모니터링해야 합니다. 사용자 수요가 증가함에 따라 인프라를 확장할 준비를 해야 합니다.